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Prufungsantrag gem. § 44 PatG ist gestellt 

@) Fahrteitvorrichtung und Fahrleitverfahren fur ein Fahrzeug 

@) Fahrleitvorrichtung und Fahrleitverfahren fur ein Fahrzeug 
(1), beinhaltend eine stereoskopische Bildverarbeitungsein> 
richtung (15) fur einen Gegenstand auGerhalb des Fahr- 
zeugs, der durch ein Abbildungssystem (10) abgebildet wird, 
das am Fahrzeug angebracht ist, mit einem Konstruktionsde- 
tektorelement (100) zur Detektion mehrerer verschiedener 
Konstruktionen und Gegenstande durch Verwenden dreidi- 
mensionater Posltionsdaten, die fur jeden Bereich eines 
Objekts entsprechend der Distanzverteilungsdaten von der 
stereoskopischen Bildverarbeitungseinrichtung berechnet 
werden, ferner eine Zwischenraunadistanzberechnungsein- 
richtung (110) zur jeweiligen Berechnung der nachsten 
Distanz afs rechter und linker Zwischenraumdistanzen je- 
weils zwischen einer veriangerten Linie der llnken oder 
rechten Seite des Fahrzeugs und jedem der Enden auf der 
Fahrzeugseite mehrerer verschiedener durch die Einrichtung 
(100) detektierter Konstruktionen und eine Informationsein- 
richtung (115), die den Fahrer uber auf diese Zwischenraum- 
distanzdaten bezogenen Daten informiert, um so eine 
Distanzverteilung des Gesamtbildes abhangig von Abwet- 
chungsbetragpositionen entsprechend dam Paar stereosko- 
pischer Bilder gemafi einem Triangulationsprinzip zu gewin- 
nen. 




Die folgenden Angaben sind den vom Anmelder emgereichten Unterlagen entnommen 
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Beschreibung 



Die vorliegende Erfindung betrifft eine Fahrleitvorrichtung sowie ein Fahrleitverfahren fOr ein Fahrzeug. die 
ermoglichen, daB dieses Fahrzeug durch einen engen Weg sicher hindurchfahren kann, und damit die dem 
Fahrer in einem solchen Zustand auferlegte Last herabsetzbar ist 

Ein Fahrzeug wie ein Auto umfaBt gewdhnlich einen Sensor, in dem ein Tastschaiter oder BerOhrungsschalter 
eingeschaltet wird, wenn ein Eckpfeiler oder ein stangenfdrmiges Teil ein Hindernis berflhrt, das z, B. aus einer 
Wand, Leitplanke, einem Pfahl oder einem parkenden Fahrzeug besteht. wie dies in dem offengelegten japani- 
schen Gebrauchsmuster Nr. 5-68 742 (1993) beschrieben ist. um fOr eine Kompensation der beschrankten Sin- 
neswahrnehmung eines Fahrers zu sorgeri, indem ein Zwischenraum zwischen dem Fahrzeug und Hindernissen 
erkannt wird. die auf der iinken und rechten Seite des Fahrzeugs vorhanden sind 

in letzter Zeit ist eine Technologie entwickelt worden, um die dem Fahrer auferlegte Last zu mindern die 
besteht. wenn das Fahrzeug durch einen schmalen Weg fahrt. und zwar in der Weise, daB Ultraschallsensoren 
die auf der Seitenflache von vier Ecken des Fahrzeugs angeordnet sind. Uhraschallwellen aussenden. eine am* 
Hmdernis reflektierte Schallwelle erfaBt wird und die Distanz des Spaltes gemessen wird. um dann den Fahrer 
hierdurch Qber die gemessene Distanz zu informieren. © r dnrer 

Da jedoch der Fahrer eine groBe Erfahrung bendtigt. um das Fahrzeug mit der oben erwahnten Eckstange zu 
betreiben, die an der AuBenseite der Fahrzeugkarosserie aJs Zeichen befestigt ist, ist es nicht mdglich, tatsachlich 
A ur-iul^ Herabsetzung der auf dem Fahrer iastenden Burde zu erzielen. Bei Kontaktsensoren, wie 

Abfuhlsensoren, kann der Fahrer ein Lenkrad nicht ausreichend schnel! betatigen, nachdem das Hindernis schon 
DerUhrt worden ist, da er die Position nicht vor dem BerChren des Gegenstandes erkennen kann 

Ferner kann auch die Ultraschalltechnologie dem Fahrer die positionelle Beziehung des Hindernisses infolge 
emer Verschlechterung einer rSumlichen Auflosungsleistung nicht vermitteln, wobei dieses Verfahren eine 
Gegenstandabhangigkeit zeigt, wobei die abgestrahlte Ultraschallwelle von Kieidern von FuBg^ngern und 
Sch euderwanden und anderen Teilen nicht zurOckgestrahlt wird. Dementsprechend ist es recht schwierie 
vielfdltige auf der StraBe vorhandene Strukturen mit dieser Technologie differenzierend zu erfassen 

Hmsichthch der oben dargeiegten Situation liegt der Erfindung die Aufgabe zugrunde, eine Fahrleitvorrich- 
tung sowie ein Fahrleitverfahren fur ein Fahrzeug anzugeben. die imstande sind, eine ausreichende Sicherheit 
beim Hindurchfahren durch einen engen Weg zu bieten und die auf dem Fahrer lastende BQrde herabzusetzen. 
Diese Aufgabe wird durch den Gegenstand des Patentanspruchs 1 bzw.des Patentanspruchs 6 geldst 
Vorteilhafte Weiterbildungen der Erfindung sind in den UnteransprOchen gekepnzeichneL 
ErfindungsgemaB wird der Fahrer Qber den jeweiligen Zwischenraum informiert. der zwischen einer detek- 
tierten Struktur und der eigenen Fahrzeugkarosserie vorliegt. und zwar in Abhangigkeit von einer korrekten 
Detektion verschiedener Konstruktionen und Aufbauten. die in der Vorausrichtung des Fahrzeugs vor dem 
hanrzeug liegen, und zwar bevor das Fahrzeug durch den engen Weg fahrt 

Die erfindungsgemaBe Fahrleitvorrichtung umfaBt eine stereoskopische Bildverarbeitungseinrichtung zum 
Verarbeiten eines Paares stereoskopischer BiJder eines sich auBerhalb des Fahrzeugs befmdenden Gegenstan- 
des, der durch em Abbildungssystem abgebildet wird. das auf dem Fahrzeug so angebracht ist, daB eine 
Distanzverteilung eines Gesamtbildes in Abhangigkeit von durch AbweichungsbetrSge gekennzeichneten Posi- 
tionen entsprechend dem Paar der stereoskopischen Bilder gemSB dem Triangolationsprinzip gewonnen wird. 
Eine Konstruktionsdetektoremrichtungdetektiert die vorhandenen vieiffiltigen unterschiedlichen Konstruktio- 
nen und Gegenstande durch Verwenden dreidimensionaler Positionsdaten. die fOr einen jeden Teil oder Ab- 
schnitt eines Gegenstandes entsprechend der Distanzverteilungsdaten von der stereoskopischen Bildverarbei- 
tungseinnchtung berechnet werden. Eine Zwischenraumdistanzberechnungseinrichtung berechnet jeweils die 
nachste Distanz als rechte und iinke Zwischenraumdistanzen, die jeweils zwischen einer veriangerten Linie der 
linken und rechten Seite des Fahrzeugs und jedes der Enden auf der Fahrzeugseite zu mehreren verschiedenen 
Konstruktionen ermittelt werden, die durch die Konstruktionsdetektoreinrichtung detektiert worden sind Eine 
Informationsemrichtung informiert den Fahrer Qber die Daten. die sich auf die linken und rechten Zwischen- 
raumdaten beziehen. welche von der Zwischenraumdistanzberechnungseinrichtung berechnet worden sind 

Nachdem ui der vprliegenden Erfindung die Distanzverteilungsdaten Qber das gesamte Bild hinweg durch das 
Pnnzip der Tnangulation in Abhangigkeit vom Abweichungsbetrag der Positionen, die einander in dem Paar 
stereoskopischer Bilder entsprechen, die stereoskopisch von Gegenstanden um das Fahrzeug herum abgebildet 
werden, gewonnen wurden, werden die dreidimensionalen Positionen der jeweiligen Abschnitte entsprechend 
den Distanzverteilungsdaten gewonnen und hierdurch die Konstruktion. die gegebenenfalls ein Hindernis 
darstellt, unter Verwendung der dreidimensionalen Positionsdaten detektiert Die Berechnungseinrichtung be- 
rechnet dabei jeweils die nSchste Distanz als rechte und linke Zwischenraumdistanzen zwischen einer verlanger- 
ten Lime der linken oder rechten Seite des Fahrzeugs und jeder der Enden auf der Fahrzeugseite der mehreren 
verschiedenen Konstruktionen, die vorab detektiert worden sind. um den Fahrer Qber die rechten und linken 
Zwischenraumdistanzdaten zu informieren. 

Wie erlautert gewinnt die vorliegende Erfindung die Distanzverteilung Qber die Gesamtbilder in Abhangig- 
keit von den Abweichungsbetragen zwischen den Positionen, die einander in dem Paar der stereoskopischen 
Bilder entsprechen, die die Objekte um das Fahrzeug herum abbilden, ferner wird erfindungsgemaB die dreidi- 
mensionale Position jedes Teiis des Objekts entsprechend der Distanzverteilungsdaten berechnet, und es wird 
eine Mehrzahl von Konstruktionen detektiert indem dreidimensionale Positionsdaten berechnet werden. Die 
Vorrichtung der vorliegenden Erfindung berechnet ferner als die linken und rechten Zwischenraumdistanzen die 
nachste Distanz zwischen den Enden oder Endbereichen auf der Fahrzeugseite von der detektierten Mehrzahl 
der Gegenstande und der veriangerten Linien der Fahrzeugseiten und informiert den Fahrer Qber die entspre- 
chend ermittelten Zwischenraumdaten. Dementsprechend ist es mdglich, den Fahrer in geeigneter Weise Qber 
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die Zwischenraumdistanz zwischen der Karosserie seines Fahrzeugs und den verschiedenen Konstruktionen zu 
informieren. die in der Vorausrichtung vor dem Fahrzeug vorhanden sind, bevor das Fahrzeug durch den 
schmalen Weg zu fahren hat, nachdem vorab pr^zise detektieri worden ist, wodurch auBerst vorteilhafte Effekte 
erzielbar sind wie die Herabsetzung der dem Fahrer auferlegten Last und die Absicherung gegen Risikosituatio- 
■ nen und Unfalle. . * 5 

Im folgenden wird die Erfindung an Hand der Zeichnungen naher eriautert. Es zeigen: 

Fig. 1 eine Ansicht eines Fahrzeugs mit eincr darin installienen Fahrleitvorrichtung gemSB einem Ausfuh- 
rungsbeispiel der Erfindung; 
Fig, 2 ein Blockschaltbild der Fahrleitvorrichtung; 

Fig. 3 elne beispielhafte Ansicht fur den Bildschirm einer Displayeinrichtung; io 
Fig. 4 eine Vorderansicht auf das Fahrzeug; 

Fig. 5 eine beispielhafte Darsteliung, die die Beziehung zwischen einer Kamera und einem Objekt zeigt; 
Fig. 6 eine detailiierte Schaltung eines Bildprozessors; 

Fig. 7 eine Ansicht, die den Aufbau einer verwendeten City- Block- Distanzberechnungsschaltung zeigt; 
Fig. 8 ein Blockschaltbild, das eine Minimumwertdetektorschahung zeigt; 15 
Fig. 9 eine beispielhafte Ansicht, die eine Abbildung der CCD-Kameras. die am Fahrzeug angebracht sind, 
vermittelt; 

Fig. 1 0 eine beispielhafte Ansicht, die ein Distanzbild darsteilt; 
Fig. 1 1 eine Ansicht von oben auf das Fahrzeug; 

Fig. 12 eine seitliche Ansicht des Fahrzeugs; 20 

Fig. 13 ein Blockschaltbild eines Distanzbildverarbeitungscomputers; 

Fig. 14 eine beispielhafte Ansicht, die ein Klassifizierungsverfahren fur ein Bild zeigt; 

Fig. 15 eine beispielhafte Ansicht, die die Beziehung zwischen einem detektierten Gegenstand und einem 
Histogramm verdeutlicht; 

Fig. 16 eine beispielhafte Ansicht, die eine detektierte Distariz und ein detektiertes Ergebnis einer Region 2S 
zeigt, in der ein Gegenstand existiert; 

Fig. 17 eine beispielhafte Ansicht, die die Form eines m6glichen dreidimensionalen Fensters zur Detektion des 
Gegenstandes zeigt; 

Fig. 18 eine beispielhafte Ansicht, die die Form eines zweidimensionalen Fensters zur Detektion des Gegen- 
stands zeigt; 

Fig. 19 eine beispielhafte Ansicht, die die Daten zeigt, die die Kontur des Gegenstandes darstellen; 
Fig. 20 eine beispielhafte Ansicht, die die Gr5Benabmessung der externen durch das Konturbild detektierten 
Form zeigt; 

Fig. 21 eine beispielhafte Darstellung, die die Form einer Suchregion fQr die Detektion einer Seitenwand 
zeigt; 

Fig. 22 eine beispielhafte Ansicht, die eine Seitenwandsuchregion auf einem Bild zeigt; 
Fig. 23 eine beispielhafte Ansicht, die eine Verteilungssituation von Konstruktionsdaten zeigt; 
Fig. 24 eine beispielhafte Ansicht, die eine Idee von einer geraden Linie bei der Hough-Transformation 
vermittelt; 

Fig. 25 eine beispielhafte Ansicht, die eine Auswahl- oder Votierungsregion eines Parameterraums zeigt; 40 
Fig. 26 eine beispielhafte Ansicht, die eine Seitenwandkandidatenregion zeigt; 

Fig. 27 eine beispielhafte Ansicht, die die Beziehung zwischen einem Histogramm und einer Region zeigt, in 
der eine Seitenwand vorliegt; 

Fig. 28 eine beispielhafte Ansicht, die ein detektiertes Ergebnis der Seitenwand zeigt; 

Fig. 29 eine beispielhafte Ansicht zur Verdeutlichung der Berechnung einer Zwischenraumdistanz; . 45 

Fig. 30 ein FluBdiagranrun, das die Funktion eines Bildprozessors verdeutlicht; 

Fig. 31 eine beispielhafte Darstellung zur Aufzeigung einer Speicherungsfolge in einem Schieberegister; 
Fig. 32 eine Zeittafel, die die Funktion einer City-Block-Distanzberechnungsschaltung zeigt; 
Fig. 33 eine Zeittabelle, die die Funktion einer Fehlbetrags-Bestimmungseinrichtung zeigt; 

Fig. 34 eine Zeittafel, die den Gesamtfunktionsablauf des Bildprozessors verdeutlicht; . so 

Fig. 35 und 36 FluBdiagramme einer Gegenstandsdetektionsverarbeitung; 

Fig. 37 und 38 FluBdiagramme der Arbeitsprozesse far eine Seitenwanddetektion; und 

Fig. 39 ein FluBdiagramm fur die Verarbeitung der Zwischenraumdistanzberechnung. 

Im folgenden wird detailliert eine Fahrleitvorrichtung fur ein Fahrzeug gemaB bevorzugten AusfUhrungsbei- 
spielen der vorliegenden Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen eriautert. 55 

In Fig. 1 bezeichnet die Bezugszahl I ein Fahrzeug wie ein Auto, und das Fahrzeug 1 umfaBt eine Fahrleitvor- 
richtung, die die Funktion eines aktiven Steuerhilfssystems (ADA-Systems von active drive assist) aufweist, um 
dem Fahrer eine hochgradige Steuerhilfe zu bieten und hierdurch m6gliche Risiken sichergestellt zu vermindern, 
indem der Fahrer entlastet wird, wenn das Fahrzeug durch einen schmalen Weg fahrt, in dem Wande. Gelander. 
Brustungen und dergleichen, sowie Masten elektrischer Einrichtungen (wie Telefonmasten) und weitere parken- eo 

de Fahrzeuge vorliegen. r . 

Die Fahrleitvorrichtung 2 umfaBt ein stereoskopisches optisches System 10 mit einem Paar Kameras auf der 
linken und rechien Seite als Abbildungssystem zum Abbilden von Gegenstanden im Bereich um das Fahrzeug 
herum. Ferner ist eine stereoskopische Bildverarbeitungseinrichtung 15 zum Berechnen einer dreidimensionalen 
Distanzverteiliing im gesamten Bild vorgesehen. indem hierzu ein Paar Bilder, die durch die linken und rechten 63 
Kameras des stereoskopischen optischen Systems 10 aufgenommen wurden, verarbeitet werden. Eine vorgese- 
hene Konstruktionsdetektionseinrichtung 100 detektiert mit hoher Geschwindigkeit eine dreidimensionale Posi- 
tion des kontinuierlichen Aufbaus bzw. der fortgesetzten Konstruktion einer Grenze der StraBe wie einer 
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Wandung, Brustung eines GelSnders sowie Gegenstindcn auf der Strafie wie weiteren Fahrzeugen, FuOg&ngern 
und Geb&udenjeweils in Abh^gigkeit von den Distanzverteilungsdaten, die von der stereoskopischen Bildver- 
arbeitungseinrichtung 15 zugefuhrt werden. Eine Zwischenraum-Distanzberechnungseinrichtung 110 berechnet 
als eine Zwischenraum-Distanz eine ntchste Distanz links und rechts des Fahrzeugs zwischen einer verlSngerten 
5 Linie der Seiten der Fahrzeugkarosserie und den Enden der Wand oder Konstruktion, die durch die Konstruk- 
tionsdetektoreinrichtung detektiert worden isL Eine Informationseinrichtung 115 dient zum Informieren des 
Fahrers Qber die Zwischenraum-Distanzdaten, die durch die Berechnungseinrichtung 110 bezQglich der linken 
und rechten Seite des Fahrzeugs berechnet worden sind. 
Fig. 2 ist ein Blockschahbild, das den Hardware- Aufbau der Fahrleitvorrichtung 2 zeigt. Das stereoskopische 

10 optische System 10 verwendet CCD-Kameras, die ladungsgekoppelte Bauelememe (CCD's) oder dergleichen 
umfassen, und weist ein Paar CCD-Kameras 1 la und lib auf der linken bzw. rechten Seite fiir eine kurze Distanz 
und ein Paar CCD-Kameras 12a und 12b auf der rechten und linken Seite fUr groGe Distanz auf. Das stereosko- 
pische optische System 10 ist mit dem Bildprozessor 20 verbunden, um die Funktion ais stereoskopische 
Bildverarbeitungseinrichtung 15 vorzusehen. 

15 DarOber hinaus ist der Bildprozessor 20 mit einem Distanzbild-Verarbeitungscomputer 120 verbunden, um die 
Funktion als Konstruktionsdetektoreinrichtung 100 und Zwischenraumdistanzberechnungseinrichtung 110 vor- 
zusehen. Der Distanzbild-Verarbeitungscomputer 120 ist auch mit einem Display 3 als Informationseinrichtung 
115 verbunden. 

Der Bildprozessor 20 umfaBt eine Distanzdetektorschaltung 20a und einen Distanzbildspeicher 20b. Die 
20 Distanzdetektorschaltung 20a sucht Abschnitte, die dasseibe Objekt in jeder von feinen Regionen abbilden. 
gegenuber dem Paar aus zwei stereoskopischen Bildern, die von dem stereoskopischen optischen System 10 
aufgenommen werden (bestimmt mit anderen Worten fur samtliche feinen Regionen in beiden Bildern den 
gleichen Gegenstand) und berechnet eine Distanz zu diesem Gegenstand in Abhangigkeit von einem Abwei- 
chungsbetrag der Positionen entsprechend den aufgefundenen Abschnitten. Der Distanzbildspeicher 20b spei- 
25 chert Distanzdaten, die ein Ausgangssignal der Distanzdetektorschaltung 20a darstellen. 

Der Distanzbild-Verarbeitungscomputer 120 umfaBt eine Auslegung als Multimikroprozessorsysterh, in der 
ein Mikroprozessor 120a, ein Mikroprozessor 120b iind ein Mikroprozessor 120c uber einen Systembus 121 
verschaltet sind. Der Mikroprozessor 120a fiihrt hauptsachlich eine Verarbeitung der Detektion jeweiliger 
Gegenstande aus, der Mikroprozessor 120b fiihrt hauptsSchlich eine Verarbeitung der Detektion einer Seiten- 
30 wand aus und der Mikroprozessor 120c f uhrt hauptsSchlich eine Verarbeitung hinsichtlich der Berechnung einer 
Zwischenraumdistanz aus. 

Der Systembus 121 ist mit einer Interfaceschaltung 122 verbunden, die mit dem Distanzbildspeicher 20b 
verbunden ist, ferner einem Nur-Lesespeicher (ROM) 123, der ein Steuerprogramm speichert, einem Speicher 
mit wahlfrejem Zugriff (RAM) 124, der verschiedene Parameter wahrend der berechnenden Verarbeitung 

35 speichert, und einem Ausgangsspeicher 125 zum Speichem von Parametern wie Verarbeitungsergebnissen, 
ferner mit einer Displaysteuereinheit 126 zum Steuem des Displays oder der Anzeige 3 und einer Interfaceschal- 
tung 127 zum Eingeben von Signalen von Sensoren und Schalteinrichtungen wie einem Fahrzeuggeschwindig- 
keitssensor 4, einem Lenkwinkelsensor 5 zur Detektion eines Lenkwinkels und eines Modussetzschalters 6 zur 
Selektion eines Unterstutzungsmodus des ADA f Or den Fahrer, wobei diese Einheiten am Fahrzeug angebracht - 

40 sind. 

Der Distanzbild-Verarbeltungscomputer 120 iimfaBt unterteilte Speicherregionen» die jeweils von den Mikro- 
prozessoren 120a, 120b und 120c verwendet werden, und fOhrt parallel eine Objektdetektionsverarbeitung und 
eine Seitenwanddetektionsverarbeitung in Abhangigkeit von den Distanzdaten vom Bildprozessor 20 durch. 
Der Computer 120 zeigt ein Bild auf dem Display 3 nach einer Zwischenraumdistanzberechnungsverarbeitung in 

45 Abhangigkeit von den detektierten Objektdaten durch, wenn ein Standardsignal durch Manipulation des Mo- 
dussetzschalters 6 durch den Fahrer eingegeben wird. 

Wie in Fig, 3 gezeigt, ist ein Monitorabschnitt 3a im zentralen Abschnitt auf einem Bildschirm des Displays 3 
vorgesehen, um eine Ansicht (Szenerie) vor dem Fahrzeug durch den jeweiligen Zustand des weiter unten 
erwahnten Distanzbildes vorzusehen. Ein Modusdisplayabschnitt 3b ist auf der Seite des Monitorabschnitts 3a 

50 vorgesehen und dient zur Darstellung jedes Modus (Fahrgeschwindigkeit, Leitsteuerung, UnterstGtzung und 
PrOfung) des ADA. wobei eine relevante Anzeige des Monitorabschnitts 3a entsprechend einer Betriebseingabe 
des Modussetzschalters 6 erleuchtet wird. 

Ferner sind ein Datendisplayabschnitt 3c und ein Positionsdisplayabschnitt 3d vorgesehen, wobei letzterer 
durch seine in vier Abschnitte oder Sektoren aufgeteilte ovale Form vorn, rechts, hinten und links vom Fahrzeug 

55 anzeigt bzw. darstellt Die beiden Abschnitte 3c und 3d sind oberhalb des Monitorabschnitts 3a vorgesehen. Ein 
Modusdatendisplayabschnitt 3e ist unterhalb des Monitorabschnitts 3a vorgesehen und dient zur Anzeige von 
Angaben iiber die Distanz zwischen Fahrzeugen, sowie Geschwindigkeit, linksseitiger Zwischenraumabstand 
und rechtsseitiger Zwischenraumabstand jeweils versehen mit den numerischen Werten aus der Berechnung. 
In der Erfindung selektiert der Fahrer den Leitmodus durch Betatigen des Modussetzschalters 6, wenn das 

60 Fahrzeug durch einen schmalen Fahrweg fahren soil, bei dem mehrere verschiedene Hindernisse vorliegen. 
Infolgedessen wird der Displayabschnitt "Leiten" im Modusdisplayabschnitt 3b eingeschaltet, und gleichzeitig 
berechnet der Computer 120 jeweils die Distanz auf der rechten und linken Seite zwischen den verlangerten 
Linien der rechten und linken Seite der ICarosserie des Fahrzeugs und den Enden der Hindernisse um das 
Fahrzeug auf der StraBe in Abhangigkeit vom Distanzbild nach Verarbeitung eines Paares der stereoskopischen 

65 Bilder. die vom stereoskopischen optischen System 10 aufgenommen wurden, fOr jeden mdglichen Distanzwert. 
Wie in Fig, 3 gezeigt. wird der numerische Wert der Zwischenraumdistanz unter der Anzeige dieser Grdfie als 
Wort (d. h. rechte und linke Zwischenraumdistanz) im Modusdatendisplayabschnitt 3e angezeigt, und es werden 
der rechte und linke Abschnitt des Positionsdisplayabschnitts 3d eingeschaltet Der Positionsdisplayabschnitt 3d 
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wird ausgeschaliet und auf der entsprechenden Seite mit Rot dargestellt, um den Kontakt mit einem Hindernis 
als Alarm anzuzeigen. falls bei der Geradeausfahrt bzw. geradeaus die berechnete Zwischenraumdistanz weni- 
ger als 0 (Null) betragt oder 0. Der Positionsdisplayabschnitt 3d wird eingeschaltei und durch Gelb dargestellt, 
wenn die Kontaktgefahr beim sorgfalligen Betatigen des Lenkrades durch den Fahrer besteht. wenn die 
Zwischenraumdistanz mehr als 0 (Null) betragt oder 20 cm oder weniger betragt Der Positionsdisplayabschnitt 5 
3d wird eingeschaiiet und durch Grun angezeigt, wenn angezeigt werden soil, daB die Gefahr ausreichend gering 
ist, falls geradeausgefahren wird, wobei hier die Bedingung ist, daB die Zwischenraumdistanz mehr als 20 cm 
betragt Bei Gelb hingegen wird vorsichtig gefahren. 

Entsprechend kann der Fahrer auf dem Bildschirm des Displays sicherstellen, daB das Fahrzeug sicher den 
schmalen Fahrweg passiert, indem der Modussetzschalter 6 betatigt wird, bevor durch diesen Fahrweg hin- 10 
durchgefahren wird, bei dem eine Seitenwand, elektrische Einrichtungen wie Telefonmasten und parkende 
Autos vorliegen, wodurch vorab ein Kontakt oder Aufprall vermieden wird, indem die dem Fahrer sonst 
auferlegte Last herabgesetzt wird. Da ferner der Fahrer die Zwischenraumdistanz quantitativ erfassen kann, ist 
es mdglich, daB der Fahrer auf leichte Weise die Fahrzeugposition feststellen kann und den weiteren Vorgang 

fur eine sichereFahrtvorauspIanen kann. 15 

Als vereinfachte Ldsung kann eine Anzeige 2, B. in Form eines graphischen Balkens anstelle der Anzeige 3 
vorgesehen werden, um einen Lichtabschnitt jeweils entsprechend der Zwischenraumdistanz zu andern. Ferner 
konnen auch ein Ton oder eine Stimme als Ansage fur die Informationseinrichtung 1 15 eingesetzt werden, um 
dem Fahrer die jeweilige Zwischenraumdistanz zu vermitteln, und anstelle der visuellen Anzeige eingesetzt 
werden, 20 

Im folgenden wird die Abbildungsverarbeitungsfunktion durch den Bildprozessor 20 erlautert Ferner werden 
erlautert die Konstruktionsdetektionsfunktion durch den Distanzbild-Verarbeitungscomputer 120 und eine 
Zwischenraumdistanz- Berechnungsfunktion, wenn der Leitmodus durch den Modussetzschalter 6 ausgewahlt 
ist Die Distanzberechnung durch den Bildverarbeitungscomputer 120 wird nur ausgefiihrt, wenn die detektier- 
ten Konstruktionen den Weg in die Vorausrichtung nicht wie ein Hindernis blockieren. 25 

Ein Paar Kameras auf der linken und rechten Seite, die das stereoskopische optische System' 10 gemaB 
Darstellung in Fig. 4 bilden, umfassen die beiden CCD-Kameras 11a und lib (die fur die weitere Darstellung als 
CCD-Kamera 11 angezeigt sind) und zwei CGD-Kameras 12a und 12b (die ebenfalls durch CCD-Kameras 12 
angezeigt sind). Die CCD-Kameras 11a und lib sind im vorderen Bereich an der.Decke des Fahrzeuginnenrau- 
mes unter vorbestimmter Distanz vorgesehen, um Gegenst^nde in relativ kurzem Abstand abzubilden. Die 30 
CCD-Kameras 12a und 12b sind ebenfalls dort angebracht, wobei sie jeweils unter Abstand von den CCD-Ka- 
meras 1 la und lib jeweils links bzw.rechts auBen von diesen Kameras 11 angebracht sind, um einen Gegenstand 
unter einer groBen Distanz zu erfassen. . 

Um eine Distanz von der nachstmoglichen Position bis zu einer Position innerhalb von 100 m mittels des 
optischen Systems 10 zu messen, reicht es aus, Positionen von 2 bis 100 m in Vorwartsrichtung zu messen, wenn . 35 
sich die CCD-Kameras 11 und 12 im Innenraum 2 m von einem vorderen Ende der Fahrzeug- Motorhaube 
entfernt befinden. 

Wenn demgemaB die Kurz-Distanz-CCD-Kameras 11a und lib die Positionen innerhalb von 2 bis 20 m und 
die Lang- Distanz- Kameras 12a und 12b die Positionen innerhalb einer Distanz von 10 bis 100 m abdecken, 
kdnnen die Kameras 1 1 und 12 den gesamten Bereich mit einer Zuverlassigkeitssicherheit abdecken, indem ein 40 
Oberlappungsbereich von 10 bis 20 m voraus sichergestellt wird. 

Das Distanzberechnungsverfahren durch den Bildprozessor 20 wird nun unter Bezugnahme auf die Kurzdist- 
anz-CCD-Kamera 11 als Beispiel erlautert Die Distanzberechnung mit der Langdistanz-CCD-Kamera 12 ent- 
spricht der Verarbeitung fur die Kamera 11. In der Fahrleitvorrichtung 2 gemaB der vorliegenden Erfindung 
wird die Kurz- Distanz- Kamera 11 zur Detektion von Konstruktionen benuizt, die sich gerade vor deni Fahrzeug 45 
befinden. 

Eine Abbildung eines Punktes P wird auf einer Projektionsebene unter einem Abstand von f von den 
Brennpunkten der jeweiligen Kameras aufgenommen, wobei der Punkt P sich von den Oberflachen der beiden 
Kameras 11a und lib unter einem Abstand D befindet Der Anbringungsabstand zwischen den beiden Kurz-Di- 
stanz- Kameras 11a und lib entspricht gemaB Darstellung in Fig- 5 r, und die jeweiligen Brennweiten der 50 
Kameras 11a und lib betragen f, 

Betragt zu diesem Zeitpunkt ein Abweichungsbetrag gemaB Darstellung in der Zeichnung x, so wird "r + x" als 
die Distanz zwischen der Position des Bildes auf der rechten CCD-Kamera lib und der Position des Bildes auf 
der linken CCD-Kamera 11a gewonnen. Die Distanz D zum Punkt P kann dann durch die folgende Gleichung (1) 
aus dem Abweichungsbetrag x gewonnen werden: 55 

D = r . f/x (1). 

Der Abweichungsbetrag x zwischen dem rechten und linken Bild kann auch nach der Ermittlung eines 
Koinzidenzabschnitts von Merkmalen wie Kanten, Linien und speziellen Formen detektiert werden. Um jedoch eo 
eine Verschlechterung der Datenmenge zu vermeiden. wird die jeweilige Distanzverteilung in jeder kleinen 
Region f Qr den gesamten Bildschirm durch den Bildprozessor 20 ermittelt, wobei das Bild in eine Vielzahi kleiner 
Regionen aufgeteilt wird, um denselben Gegenstand auf dem linken und rechten Bild aufzusuchen, und entspre- 
chende kleine Regionen auf den linken und rechten Bildern herausgefunden werden. indem ein Leuchtdichtemu- 
ster und Farbmuster innerhalb der kleinen Regionen verglichen werden, um Koinzidenzen festzustellen. es ■ 

Eine Abschatzung einer Obereinstimmung bzw. eines Zusammenfailens von rechten und linken Bildern. d. h. 
eine stereoskopische Abstimmung, kann durch eine City- Block- Distanz H erfolgen, die beispielsweise durch die 
folgende Gleichung (2) reprasentiert wird, wenn die Leuchtdichte oder Helligkeit (es kann auch die Farbe 
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herangezogen werden) im i-ten Pixel im rechten und Unken Bild jeweils Ai und Bi betragen: 
H = l|Ai - Bi| (2). 

Die stereoskopische Anpassung durch die City-Block-Distanz H fQhrt keine Verschlechterung der Datenmen- 
ge em. hervorgerufen durch die Subtrakdon eines MittelWerts, und kann die Berechnungsgeschwindigkeit 
Hv^tf f.-' " "J^f"* Multiplikauon erfolgen muB. Jedoch beinhaltet das Anpassungsverfahren das ProblemfdaB 
^nrf f r^ftirn i? ""T''*'' '"■ V. ""^sKch ist. in derselben Region Gegenstande unter kurzer Distanz 
A„^f ? •» ° zu^erfassen. wenn die GrdBe der aufzuteilenden kleinen Region zu groB gemacht ist 
v.rSn»'^ 'Vu Anstrebung von m6glichst kleinen Regionen zur Gewinnung der Distanz- 

verteilung des Bildes die Datenmenge zu klein sein kann. um die Koinzidenz bei einer zu kleinen Region noch 
Su« S d"«^*,"rSf" • N^mt daher die Vorrichtung der vorliegenden Erfindung ein BUd bezflglirh des Fahr 
zeugs auf das 100 m vom Fahrzeug entfemt ist. wobei in derselben Region ein Fahrzeug. das auf einer 
angrenzenden Fahrspur fShrt. nich, eingeschlossen ist. so beinhalten die gewonnenen kleinen Rftonen v"er 

Hf4L?f„*'"f ic^'p ^y"'''" '"•ese ''en Maximalwert in Richtung der Breite 

darstellen. Als Ergebnis davon. daB die optimale Pixelanzahl im gegenwartigen Bild in AbhSn^ek-it ««In 
M«.malwert gewonnen wird. k5nnen jeweils vier P«el fQr jede^D^menJSrak pSkt^^^^^^^^ 

In der folgenden Beschreibung wird das Bild in kleine Regionen von 4 x 4 aufffeteilt um ein^ lfoin^iHA«, 
iuZ'^n.^S^^^^^^ '•^^ stereoskopisihe opt^LXt^'t^^^^:^''^,,^^^ 

Ein detailliertes Schaltungsdiagramm des Bildprozessors 20 ist in Fis 6 ffezei^t Di** nict»n7H^t»Vf^r«^k»i* . 
20a und der Distanzbildspeicher 20b sind BestandteU der Schaltung d^ BifdSs^ors 

schaltung 20a umfaBt e.nen Bildumsetzer 30 zum Umsetzen eines analogen Bilds. das vom optifcEferlosto 
^ .r w^n^^n^'-T u ^'ifse"^'"'"^" ^ird. in dn digitales Bild, eine City-Block-Distknzbe^h2gselSun^^^ 
H^m tr."!f T" ^^'■^SmT "? qty-Block-Distanz H zum ErnUtteln des Abweichun^sbetfagSS 
dem rechten und linken Bild mittels einer Verschiebung der Pbcelwerte Pbcel um Pixel einen MlnimuT^^ 

KorS^rS^'^ ^°,?T ^^'^'l"-^" Minimumwerts Hm.n und Ma^lSwim H^J^^niT Oty 
X dure? Sn^h h1 ilJ- P'^'^'-epan^betragsbest.mmungseinrichtungeO zum Ermittein des DiskTepanzbetrLgs 
JX[ ir V M'"™"n?wert. der durch den Detektor 50 gewonnen wurde. die Koinzidenz ^ischen dfr 
sTefcher 90 wiedergibt oder nicht. Der Distanzbildspelche; 20b umfaBt eTn^DualJort- 



Der Bildumsetzer 30 umfaBt Analog/DigitaI(A/D)-Wandler 31a bzw. 31b jeweils entsorechend for Hie rrn 
Kameras 1 la und 1 1 b far das linke und rechte Bild. wobei die Wandler jeweiSNSS^^^^^^ 

f £ SfJ CCD ^rm^^s Tit'h ""'i fr^' sind BUdspeicher 33a und 33'b zur jSleJlSSS^^^ 
far die CCD-Kameras 11a bzw. lib vorgesehen. Da die welter unten erlSuterte City-Block-Distanz-Berech- 
nungsemrichtung 40 w.ederholt elnen Tell des Bildes herausgreift und verarbeitet. k6nnen die K dspeichrr 33a 
hSSind Speichergeschwindigkeiten aufweisen. wodurch die HersSSngsS^^ 

,JT«~ n-w'^^*]^*"*''? Auflasung von beispielsweise acht Bits auf und setzt das 

analoge Bild von der rechten und linken CCD-Kamera 11a bzw. lib in ein digitales Bild um das eine vorbl- 
stimmte Leuchtdichteabstufung aufweist Mit anderen Worten setzt der Wandlefdas anXeSld beisSellwei^^^ 
ITreSl^^BMlu^^li^:^^^^^^ ""^k^" '"^ Berechnung der Koinzidenz^zwislfhen S^ken 

tu"4si:^hwiXke^^^^^^^ Binarverarbeitung des Bildes bei hoher Verarbei- 

Aif*!."^^''* Nachschlagetabellen LUT 32a und 32b im ROM ausgebildet. um deh Kontrast eines 

Abschni ts germger Leuchtdichte im Bild. das durch die A/D-Wandler 31a und 31b auf digitale Gr6Brumge«t« 
Z; "m Unterschiede in den Eigenschaften der linken und rechten CCD^iJ^fra lTa 

nfrR-w 2">°'npen«eren. Das durch die LUTs 31a und 31b umgesetzte Signal wird einmal und gleichzeitig in 
den Bildspeichern 33a bzw. 33b gespeichert »t««.iiz.ciiig m 

In der City-Block-Distanzberechnungseinrichtung 40 sind Pufferspeicher 41a und 41b fflr die Eingabe uber 
einen gemeinsamen Bus 80 mit dem Bildspeicher 33a fOr das linke Bild im Bildwandler 30 verbunden. Ein 
weiteres Paar Pufferspeicher 42a iind 42b ist Qber einen gemeinsamen Bus 80 in entsprechender Weise mit dem 
Bildspeicher 33b filr das rechte Bild verbunden. 

Die Pufferspeicher 41a und 41b fflr das linke Bild sind mit einem Paar Schieberegister 43a und 43b verbunden 
die jeweils einen achtstufigen Aufbau aufweisen. und das Paar Eingangspufferspeicher 42a und 42b fur das' 
rechte Bild sind mit emem Paar Schieberegister 44a und 44b verbunden. die ebenfalls einen achtstufigen Aufbau 
aufweisen. Die Schieberegisterpaare 43a, 43b und 44a, 44b sind mit einer City-Block-DistanzberechnunESschai- 
tung 45 zur Berechnung der City-Block-Distanz verbunden. 

Ferner sind die Schieberegister 44a und 44b fur das rechte Bild ein Paar Schieberegister 64a und 64b mit 
jeweils emem zehnstufigen Aufbau und sind in einer welter unteh erlSuterten Abweichungsbetrag-Bestim- 
mungseinrichtung 60 angeordnet. Alte Daten nach Berechnung der City-Block-Distanz h.werden in die Schiebe- 
register 64a und 64b geschoben. um dort fUr die Bestimmung des Abweichungsbetrages x zu dienen. wenn der 
Datentransfer bezQglich der nachsten kleinen Region beginnt. 

Die City-Block-Distanzberechnungsschaltung 45 ist mit einem HochgeschMdndigkeits-CMOS-Rechner 46 
verbunden, in dem Addierer, Subtrahierer und gekoppelte Eingangs/Ausgangs-Latchschaltungen auf einem • 
Chip ausgebildet sind. Diese Schaltung nimmt augenblicklich die acht Pixelkompoiienten auf und berechnet 
beispielsweise durch eine Pipeline-Struktur, in der. 16 Rechnereinheiten nach Art einer IVamide miteinander 
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verbunden sind. gemaB Fig. 7, die acht Pixelkomponenten. Die Pyramidenstruktur umfaBt cine erste Stufe als 
Absolutwertberechner, zwei bis vier Stufen als ersten, zweiten und dritten Addierer und eine Endstufe zur 
Bildung der Gesamtsumme durch Addition. Die Fig. 7 zeigt nur die halbe Struktur des Absolutwertberechners 
und der Addierer der ersten und zweiten Stufe. 

Die Eingangspufferspeicher 41a, 41b, 42a und 42b weisen jeweils eine vergleichsweise geringe Kapazitat auf 5 
und sind entsprechend der Geschwindigkeit fUr die City-Block-Distanzberechnung schnelle Speicher. Sie haben 
jeweils einen unterteilten Eingang und Ausgang zum gemeinsamen Empfangen einer Adresse, die von einer 
Nr. 1 -Adressensteuereinrichtung 86 gemSB einem Takt erzeugt wird, der von einer Taktgeneratorschaltung 85 
zugefOhrt wird Eine Nr, 2-Adressensteuereinrichtung 87 steuert den Datentransfer zwischen dem Paar Schiebe- 
register43a,43b,44aund44b. . 

Der Minimum- imd Maximumwertdetektor 50 umfaBi eine Minimumwertdetektorschaltung 51 zum Detektie- 
ren des Minimumwerts Hmin der City-Block-Distanz h und eine Maximumwertdetektorschaltung 52 zum 
Detektieren eines Maximumwerts Hmax der City-Block-Distanz H und weist einen Aufbau mit zwei Hochge- 
schwindigkeits-CMOS-Rechnern zur jeweiligen Bestimmung des Minimum- und Maximumwertes mit derselben 
Auslegung wle der City-Block-Distanzberechnungsschaltung 45 auf, um so eine Synchronisation mit der Ausga- 15 
be der City- Block- Distanz H aufrechtzuerhalten. 

Wie in Fig. 8 gezeigt. umfaBi die Minimurriwert-Detektorschaltung 51 im Detail einen Rechner 46 mit einem 
A-Register 46a, einem B-Register 46b und einer arithmetischen logisciien Einheit (ALU) 46c, einer C-Latch- 
Schaitung 53, einer Latch-Schaltung 54 und einer D-Latch-Schaltung. die mit dem Rechner 46 verbunden sind. 
Das Ausgangssignal der City-Block-Distanz-Berechnungsschaltung 45 wird dem A-Register 46a und dem B-Re- 20 
gister 46b uber die C-Latch-Schaltung 53 zugefuhrt, und das hochstwertige Bit (MSB) im Ausgangssignal der • 
ALU 46 wird an die Latch-Schaltung 54 ausgegeben. Ein Ausgangssignal der Latchschaltung 54 wird dem 
B-Register 46b und der D-Latchschaltung 55 zugefuhrt Das B-Register 46b speichert einen Zwischenwert der 
Minimumwertberechnung im Rechner 46. Die D-Latchschaltung 55 speichert den Diskrepanzbetrag oder Ab- 
weichungsbetrag 5 der Minimumwertberechnung. Die Maximumwert-Detektorschaltung 52 weist denselben 25 
Aufbau wie die Minimumwert-Detektorschaltung 51 auf mit Ausnahme einer entgegengesetzten Logik und 
Nichtspeicherung des Abweichungsbetrages 5. 

Wie zuvor erlautert, wird die City-Block-Distanz H Schritt um Schritt mit der Verschiebung der Pixel Pixel um 
Pixel von der kleinen Region des linken Bildes gegenuber einer kieinen Region im rechten Bild berechnet 
DemgemaB konnen der Maximumwert und Minimumwert Hmax und Hmjn der City-Block-Distanz H in der 30 
kleinen Region durch Vergleich und Erneuerung des vorhergehenden Maximum- und Minimumwerts Hmax und 
Hmin fOr jedes Ausgangssignal eines Werts der City-Block-Distanz H gewonnen werden. und es wird gleichzei- 
tig eine Ausgabe der letzten City-Block-Distanz H gewonnen. 

Die Diskrepanzbetrag-Bestimmungseinrichtung 60 ist als sogenannter RISK-Prozessor mit relaiiv geringem 
Umfang aufgebaut. Die Bestimmungseinrichtung 60 umfafit einen Rechner 61 als Hauptteil. einen 16-Bit-Daten- 35 . 
bus 62a und 62b. eine Latchschaltung 63a zum Haiten des Abweichungsbetrages x, eine Latchschaltung 63b zum 
Halten eines Schwellwerts Ha als ersten Bezugswert, eine Latchschaltung 63c zum Haiten eines Schweliwerts 
Hb als zweiten Bezugswert, eine Latchschaltung 63d zum Haiten eines Schwellwerts He als dritten Bezugswert, 
eine Schaltstufe 65 zur Ausgabe des Abweichungsbetrages x oder eines Ausgangssignals "O" nach Empfang des 
Ausgangssignals vom Rechner 61, Ausgangspufferspeicher 66a und 66b zur zeitweisen Speicherung eines 40 
Ausgangssignals der Schaltstufe 65 und einen ROM 67 von 16 Bit Breite zur Speicherung eines Steuerpro- 
gramms uber die Betriebszeitsteuerung der Schaltung und der Funktion des Rechners 61. 

Der Rechner 61 umfaBt eine ALU 70 als Hauptteil, ein A-Register 71, ein B-Register 72 und ein F-Register 73 
sowie einen Selektierer 74. Das A-Register 71 ist mit dem Datenbus 62a (im folgenden als A-Bus 62a bezeichnet) 
verbunden, und das B-Register 72 ist mit dem Datenbus 62b (im folgenden als B-Bus 62b bezeichnet) verbunden, 45 
wodurch die Schaltstufe 65 in Abhangigkeit vom Berechnungsergebnis der ALU 70 aktiviert wird und der 
Abweichungsbetrag x oder das Ausgangssignal "0" in den Ausgangspufferspeichern 66a und 66b gespeichert 
werden. 

Der A-Bus 62a ist mit der Maximumwert-Detektorschaltung 52, den Latchschaltungen 63b, 63c und 63d 
verbunden, die jeweils die Schwellwerte Ha, Hb bzw. He haiten, und der B-Bus 62b ist mit der Minimumwert- 50 
Detektorschaltung 51 verbunden. Der A-Bus 62a und der B-Bus 62b sind jeweils mit den zugehorigen Schiebere- • 
gistern 64a bzw. 64b verbunden. 

Die Schaltstufe 65 ist mit dem Rechner 61 und der Minimumwert-Detektorschaltung 51 uber die Latchschal- 
tung 63a verbunden, Der Rechner 61 bestimmt drei Prufzustande, die weiter unten erlautert sind, um ein 
bestimmtes Ergebnis zur Anderung der Ausgangssignale fur die Ausgangspufferspeicher 66a und 66b auszuge- 55 

ben. , ^• 

Die Abweichungsbeti-agbestimmungseinrichtung 60 pruft, ob der gewonnene Mmimumwert Hmin der City- 
Block-Distanz tatsSchlich die Koinzidenz zwischen der linken kleinen Region und der rechten kleinen Region 
darstellt oder nichi. Die Bestimmungseinrichtung 60 gibt den Abweichungsbetrag x der Pixel entsprechend den 
Pufferspeichern 66a und 66b nur aus, wenn diese Bedingung erfuUt ist 60 

Dementsprechend ist der Abweichungsbetrag der Abweichungsbetrag x, der zu erhalten ist, wenn die City- 
Block-Distanz H der Minimumwert Hmin ist. Der Abweichungsbetrag x wird ausgegeben, wenn drei Prufbedin- 
gungen. die weiter unten ausgefiihrt sind, erfullt sind, und "0" wird ausgegeben, ohne die Daten zu ubernehmen, 
wenn diese Bedingungen nicht erfullt sind: 

(1 ) Hmin ^ Ha (Die Distanz kann nicht gewonnen werden. wenn Hmin > Ha). 65 

(2) Hmax— Hmin ^ Hb (Dies isi die Bedingung zum Prtifen, daB der gewonnene Minimumwert Hmin deutlich 
durch Rauschflimmern niedrig ist, und der Prufgegenstand ist der Unterschied zwischen dem Minimumwert 
Hmin und dem Maximumwert Hmax ohne die Differenz zwischen dem Minimumwert Hmin und dem nachstge- 
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!f5i'i*" '''^'^f'"- wodurch die Distanz gegenflber einem Gegenstand wie einer gekrQmmten OberflSche 
heraJhfbenf Leuchtdichte langsam Sndert. wobei sich die Werte aus dem Rauschen 

t,il^ Leuchtdichtedifferenz oder Helligkeitsdifferenz zwischen benachbarten Pixeln in horizontaler Rich- 
' SohiliilJr^ h"? a ^ "5 (obgleich die Detektion eine Kantendetektion ist. wenn der 

nftl?^ ? ^™ ^ Schwellwert He auf einen genngeren Wert als den gewOhnlichen Kanien- 

a^H. n'^'^^^n^!?^'^** ^-^ '° "'^'''^ ™ entsprechen. bei dem sich die Leuchtdichte ianSIm 

f Bedingung bas.ert auf dem fundamentalen Prinzip. in dem die Distanz in einem Tdl S 

Leuchtdjchteinderung nicht detekt erbar ist Da die Detektion im Teil Mr jedes Pixel in der Sen ReS 
f« £«H ^T*^ werden nur Pixel aufgegriffen. deren aktuelle Distanz in der kleinen Region detek iert worden 
ist. wodurch cm naturhches Ergebnis gewonnen wird). ucicsiicn woraen 

t.. ^'^^"tanzverteilungsdaten. die als endgQltiges Ergebnis aus der Abweichungsbetrag-Bestimmungseinrich- 
^rmVS'saS^^^^s'glle^r^ Dualponspeicher SO als Disunlbildsplicher ^oTEeinen 

Die Distanzverteilungsdaten vom Bildprozessor 20 liegen in Form eines Bildes (Distanzbildes) vor wobei 
d.es<« B.ld beBp.elsweBe durch die CCD-Kamera 11 gemaB Darstellung in Fig. 9 abS det Sr^oirBirzur 

Tor M^.r pt22/^ 5 ^ A""" '^.'^ ^'"^ '^^'"^'■^ ^'S- 9 aufgenommen ist) wird vom Bildprozes- 

sor 20 zur Erzeugung des m Fig. 1 0 gezeigten Bildes verarbeitet. onaprozes 

In einem Beispiel des in Fig. 10 gezeigten Distanzbildes umfaBt das Bild eine Gr6Be von 400mal 200 Pixel in 
den beiden Dimensionen, wobei Distanzdaten in einem schwarzen Abschnitt liegen in dem eiSui^keiSndi 
rung zwischen ^ei aneinandergrenzenden Pixeln in rechter und linker Richtunl graQSTls nLSbie^^^^^^ 
Pixel im in Fig. 9 gezeigten Bild ist. Die Koordinatenachsen im Bild sind so gelegt. daB dieTlcS 
horizontaler Richtung ihren Ursprung in der oberen linken Ecke auf wS dfe vfrtika^^^^ 

nachse ist und als Einheit Pixel gewihlt ist, wie in F.g. 10 dargestellt ^"""^^'^ ^chse erne j-Koordinate- 
Das Distanzbild wird in den Distanzbildverarbeitungscomputer 120 gelesen um mehrere Ge~nstanrfe wie 
andere Fahrzeuge und Hindernisse. die vor dem Fahrzlug vorhanden 'rdetTkriS^n umV^^ 
und die GroBe der Gegenstande zu berechnen und hierdurch ein UmriBb ild de"deS^rten Gelem^^^ 
extrahieren. Ferner ist es moglich. eine korrelative Geschwindigkeit der Gegenstand^ dureh einSve^^ 
gerung der jeweiligen Position verursacht wird. zu berechnen b«« wnac. aie aurcn erne ^eitverza- 

,. Irf^if!^"^^?'/ ^Jer Disunzbildverarbeitungscomputer 120 dreidimensionale Geeenstandsdaten 

und fUhrt erne Unterscheidung der StraBe und des Hintergrundes in AbhSngiriceit von der Hahe der erf« ft.e^ 
?h^.'nf i:^-. StraBenoberflache aus sowie eine^Unterschetdun^ dfs ObS 

Abhangigkeit von einem Distanzwert Daher Jlndert der DistanzbUdve^eitun^mputTr m z^^^^^^ 
Koordinatenachsen des Distanzbildes vom Bildprozessor 20 und setzt sie in die KoS^^^nS Lef dis taSsch^ 
IS'nTtruktion. ' ""'^ die Position und GrolL en^tsT^^K^^^ 

Kn^Min^.l/ni^Kc''' '"c.^'u" " '2 gezeigt. die Koordinatenachsen des tatsSchlichen Raums auf die 
E^nnJlvt , 1 festgelegt. in denen eine X-Achse die rechte Seite des Fahrzeues 1 

kennzeiclinet. eine Y-Achse Ober dem Fahrzeug liegt und eine Z-Achse der Vorwartsrichtun/dL Fahrzeu« 1 
entspncht so entspricht ein Ursprungspunkt der StraBenoberflache in der Mittf unTunmfttSar un^^^^ 
beiden CCD-Kameras 11a (12a) und Ub (12b), die X-Z-Ebene (Y-0) faUt mit der StraBSerfllche fQr den 
Fall zusammen daB die StraBe flach ist. und die dreidimensionale Position des Gegenstandes l«nn e^^ 
Irt ^^'f 9'«'«=»'ungen (3) und (4) in Abhangigkeit von den Distanzdaten ([ jf Z) im BUd Sh S iffinSe 
Art von Koordinatenumsetzung gewonnen werden: V'J- / « "uu uurtn aic loigenae 

Y=CH-Z X PW X 0-JV) (3), 

X = r/2 + Z X PW X (i-IV) (4), 

wobei 

CH: Befestigungshdhe der CCD-Kamera 1 1 (12). 
PW: Sichtwinkel pro einem Pbcel, 

J V, IV: eine Koordinate auf dem Bild von einem unendlich weiten Punkt unmittelbar vor dem Fahrzeug 1. 

P^!v""r*'?x"" ^l.**'® o i!'?''"l"u^u " ('^^ folgenden Gleichungen (5) und (6) geandert werden. um die 

zu berechnin^ Abhangigkeit von den dreidimensionalen Achsen (X. Y. Z) des tauachlichen Raums 

j=(CH-Y)/(Z X PW) + JV (5) 
i •= (X - r/2) / (Z X P W) + 1 V (6). 

Falls die Befestigungsposition der CCD-Kamera 11 in den XYZ- Koordinatenachsen des tatsachlichen Raums 
gezeigt wird, betragen beispielsweise die Werte fur die rechte Kamera llbX<-0,20(m). Y»124fm)undZ=00 
(m)undfurdielinkeKameraX = -0.20(m),Y=1.24(m)undZ=0.0(m). ' ^ ' 

Fig. 13 zeigt die funktionelle Auslegung des Distanzbildberechnungscomputers 120, der hauptsachlich eine 
Gegenstandserkennungseinrichtung 130 fQr den Mikroprozessor 120a umfaBt. einen Seitenwanddetektor 140 
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far den Mikroprozessor 120b und einen Zwischenraumdistanzr.echner 160 fur den Mikroprozessor 120c. Das 
Verarbeitungsergebnis der Gegenstanderkennungseinrichtung 130 und des Seitenwanddetektors 140 wird in 
einem Konstrukiionsparameter-Speicherabschnitt 150 gespeichert, der einen Ausgangsspeicher 125 umfaBt, und 
wird in eine nicht dargestellte weiiere Einrichtung des Mikroprozessors 120c (Zwischenraumdistanzrechner 160) 
und das ADA-System gelesen. 5 

Ferner ist die Funktion der Gegenstandserkennungseinrichtung 130 in einen Objektdetektor oder Gegen- 
standsdetektor 131, eine Erzeugungseinrichtung fur ein dreidimensionales Fenster 132 und eine Gegenstands- 
konturextraktionseinrichtung 133 aufgeteilt Die Gegenstandserkennungseinrichtung 131 teilt das Distanzbild 
aus dem Bildprozessoi- 20 in einem vorbestimmten Intervall (beispielsweise Intervallen von 8 bis 20 Pixeln) in 
Streifenform auf, wobei er nur Aufbaudaten selektiert, die eine Gefahr als Hindernis fiir die Weiterfahrt lo 
darstellen, und berechnet die detektierte Distanz. 

Rg. 14 ist eine eriautemde Ansicht fOr das Festlegen einer streifenformigen Region auf dem hellen Bild, das 
als die Ansicht des Fahrzeugs 1 nach vorn aufgenommen isL Das Distanzbild gemaB Fig. 10 wird gemSB 
Darstellung in Fig. 14 aufgeteilt Im Ausfflhrungsbeispiel wird das Bild in 30 sehr kleine Regionen ARi bis AR33 
mit. 12-PixeliniervaIIen aufgeteilt. Da der Gegenstand durch Unterteilung des Bildes in eine Vielzahl von 15 
Regionen aufgesucht wird, ist es folglich m6glich, eine Mehrzahl von Gegenstanden verzfigerungsfrei zu 
detektieren. 

Fiir den Gegenstand in jeder Region wird die dreidimensionale Position (X. Y, Z) des tatsachlichen Raums aus 
den ICoordinaten.(i, j) auf dem Bild berechnet sowie ferner die Distanzdaten Z unter Verwendung der obigen 
Gieichungen (3) und (4). Daruber hinaus kann die Hohe H des Objekts bei der Distanz Z von der StraBenoberflS- 20 
che durch die folgende Gleichung (7) berechnet werden. wenn die Hohe der StraBenoberflache Yr betragt: 

H«Y-.Yr (7). 

Da die Koordinatehachsen gemaB Darstellung in den Fig- 1 1 und 12 festgelegt sind, kann Yr auf Yr.= 0,0 (m) 25 
gesetzt werden, es sei denn, es liegen eine spezieile Neigung und ein vertikaler StoB bzw. eine vertikale 
Erschutterung auf dem Fahrzeug 1 vor. Da ein Gegenstand mit einer unter 0,1 (m) liegenden Hdhe H wie weiBe 
Linien, Steine oder Schatten auf der StraBe das Fahrzeug, das auf der StraBe fahrt. nicht behindern, werden die 
Daten dieser Gegenstande verworfen. Ein uber der H6he des Fahrzeugs liegender Gegenstand wird als FuBgan- 
geruberweg oder Oberfuhrung und StraBenschild angenommen, die auBer.acht zu lassen sind, und die Vorrich- 30 
tung selektiert nur Daten mit einem Aufbau, der Hindernisse auf der StraBe darstellt. Falls daher der Gegenstand 
auf der StraBe auf dem zweidimensionaien Bild flberlappt, kann die Vorrichtung die Detektion nach einer 
Unterscheidung der Daten entsprechend der Hohe uber der StraBenoberflache durchfUhren und den Gegen- 
stand eindeutig erfassen. 

Darauffolgend zahlt bezQglich der Konstruktions- oder Aufbaudaten, die entsprechend oben dargelegtem 35 
Schema extrahiert worden sind, die Vorrichtung die Anzahi von Daten, die in einem vorbestimmten Abschnitt 
der Distanz C enthalten sind, und erstellt ein Histogramm unter Verwendung der Distanz Z als horizontaler . 
Achse. Jn Fig. 15 ist ein Histogramm des parkenden Autos 300 als detektierter Gegenstand auf der rechten Seite 
vor dem Fahrzeug im Bildbeispiel, und eine Anzahi und Lange des Abschnitts der Distanz Z werden unter 
Beracksichtigung einer Detektionsgrenze und der Prazision der Distanz Z sowie Form der Konstruktion.wie 40 
einem detektierten Gegenstand ermittelt. 

Wenn ein fehlerhaft detektierter Wen oder faischlicherweise detektierter Wert in den Distanzdaten im 
Eingangsdistanzbild vorhanden ist, erscheinen im Histogramm wenige Daten an einer Position, bei der tatsSch- 
lich kein Gegenstand vorliegt. Fur den Fall jedoch, daB ein Gegenstand mit einer vorbestimmten GrbBe 
vorhanden ist, zeigt die Haufigkeit dieser Position einen groBen WerL Demgegeniiber wird fur den Fall, daB kein 45 
Gegenstand vorhanden ist, die von den fehlerhaften Distanzdaten erzeugte Haufigkeit einen geringen Wert 
annehmen. 

Falls demgemaB ein Abschnitt vorliegt, in dem die Haufigkeit im erzeugten Histogramm uber einem bestimm- 
ten Beurteilungswert liegt und einen Maximalwert annimmt, so ist im beurteilten Abschnitt ein Gegenstand 
vorhanden. Liegt hingegen der Maximalwert der Haufigkeit unter dem Beurteilungswert, so liegt in diesem 50 
Abschnitt kein Gegenstand vor. Durch diese MaBnahme bleibt, selbst wenn in den Bilddaten gewisse gerihge 
Rauscheinflusse enthalten sind, der RauscheinfluB innerhalb der minimalen Grenze fUr die Detektion des 
Gegenstandes. 

kommt die Beurteilung zu dem SchiuB, daB ein Gegenstand existiert, so wird ein Mittelwert der Distanzdaten 
Z des Aufbaus oder der FConstruktion, die im detektierten Abschnitt und in Abschnitten vor und nach dem 55 
detektierten Abschnitt enthalten ist, berechnet, urn als Distanz zum Gegenstand behandelt zu werden. Nachdem 
eine Distanzdetektion ti des Gegenstandes in den vollstandigen Regionen verarbeitet worden ist; untersucht die 
Vorrichtung die detektierte Distanz des Gegenstandes in jeder Region und urteilt, daB der Gegenstand stets 
derselbe ist, wenn die Differenz der Detektionsdistanz zum Gegenstand in angrenzenden Regionen geringer als 
ein vorab festgeiegter Wert ausfaiit. Ist hingegen die Differenz grdBer als der festgeiegte Wert, so urteilt die eo 
Vorrichtung, daB die Gegenstande voneinander verschieden sind 

Im Detail wird eine linke Endbereichsregion ARi untersucht Wenn der Gegenstand detektiert ist, wird diese 
auf den Gegenstand Si und die Distanz Zi gesetzt Daraufhin wird die nachst angrenzende rechte Region AR2 
untersucht. Wenn kein Gegenstand detektiert wird, existiert der Gegenstand Si innerhalb und um die Region 
ARi, und die Distanz wird als Zi beurteilt, um so den Gegenstand zu detektieren. Wenn die detektierte Distanz 65 
Z2 betragt, wird die Differenz zwischen den Distanzen Zi und Z2 untersucht. 

Liegt die Differenz zwischen den Distanzen Zi und Z2 uber dem f estgesetzten Wert, wird geschlossen, daB das 
in der Region AR2 detektierte Objekt sich vom zuvor detektierten Gegenstand Si unterscheidet und es sich um 
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ein neues Objekt S2 und eine neue Distanz Z2 handelt Dann untersucht die Vorrichtung weitere rechts benach- 
barte Regionen. 

1st andererseits die Differenz zwischen den Distanzen Zi und Z2 geringer ais der festgelegte Wert, so wird 
geschlossen, daB das in der Region AR2 detektierte Objekt der zuvor detektierte Gegenstand S| ist und daB die 
Distanz ein Mittelwert von Z| und Z2 ist. Dann werden weitere rechts gelegene Regionen nacheinander 
untersucht, und die Distanz und vorhandene Regionen werden emeuert, wenn das Objekt Si sich dahingehend 
erweist, daB es fortgesetzt vorhanden ist 

Es war tiblicherweise schwierig, nur die Objektdaten zu extrahieren, wenn auf dem zweidimensionalen Bild 
eine Hintergrunddistanz um das Objekt abgebildet war. Da jedoch die oben erwdhnte Verarbeitung von der 
Region ARi am linken Ende zur Region AR33 am rechten Ende erfolgt, um die Daten durch Distanzwerte zu 
sortieren, ist es mdglich, durch Unterteilen einer Mehrzahl von Abschnitten des Gegenstands und des Hinter- 
grunds mit Bezug auf die Distanz und die das Vorhandensein anzeigenden Regionen eine Detektion durchzufuh- 
ren. wodurch es mdglich ist, mehrere einander auf der zweidimensionalen Darstellung iiberlagernde Gegenstan- 
de durch deren Aufteilung in Abhangigkeit von den Distanzen jedes Gegenstandes zu detektieren und voneinan- 
der zu unterscheiden. 

^ Experimentelle Ergebnisse zeigten. daB der festgesetzte Wert vorzugsweise 4 bis 6 m fur die Detektion des 
Fahrzeugs und 1 bis 2 m fOr die Detektion von FuBgangem ist 

Fig. 16 zeigt einen mit einer Linie umrissenen Block, der eine Region anzeigt. in der gemaB obiger Detektion 
sich em Gegenstand befmdet In diesem Ausfuhrungsbeispiel sind zwei GegenstSnde. n^mlich ein Fahrzeug 200 
auf der imken Seite und ein Fahrzeug 300 auf der rechten Seite detektiert worden. Ein numerischer Wert auf der 
Unterseite der Figur entspricht der Detektionsdistanz jedes Gegenstandes. 

Die Erzeugungseinrichtung 132 fiir das dreidimensionale Fenster setzt eine Region fur einen dreidimensiona- 
len Raum m Form emer rechtwmkligen Raumform fest, namlich ein dreidimensionales Fenster WD3 das den 
detektierten Gegenstand (das parkende Fahrzeug 300) im dreidimensionalen Raum enthait wie in Fig 17 
gezeigt 1st, und zwar bezuglich jedes der durch den Gegenstandsdetektor 131 detektierten Gegenstande. und 
berechnet, wie das festgelegte dreidimensionale Fenster WD3 auf dem zweidimensionalen Bild zu zeigen oder 
darzustellen ist, um so den detektierten Gegenstand nur bezOgiich Daten. innerhalb einer Fensterkonturlinie wie 
dem zweidimensionalen Fenster WD2 festzulegen. 

Die horizontale Breite des dreidimensionalen Fensters WD3 liegt innerhalb eines Bereiches. der sich in eine 
jede Region auf der Imken und rechten Seite der Regionen erstreckt. in denen der Gegenstand vorliegt Daher 
werden andere Gegenstande nicht detektiert, wenn die rechten und linken Enden der Gegenstande sich auf 
irgendwelchen Regionen uberlappen. In diesem Fall wird der zu detektierende Gegenstand nicht als vorhanden 
detektiert. da der Gegenstand auf dem Histogramm keinen groBen Wert hervornifen kann, und es wird der 
andere Gegenstand detektiert Daher sollte der Fensterbereich stets so ausgewShlt und ausgedehnt warden, daB 
ein solcher Zustand vermieden 1st . ^ • 

Die Lange in der Distanzrichtung Z des dreidimensionalen Fensters WD3 liegt innerhalb eines Bereiches. der 
die detektierte Distanz des Objekts umfaBt und eine Sektionsiange des Histogramms. zu der Abschnitte vor und 
hinter der detektierten Distanz addiert sind. Das untere Ende des dreidimensionalen Fensters WD3 liegt bei 
einer Position, die sich durch Addition von 0.1 m zur Hahe der StraBenoberflache ergibt. und das obere Ende failt 
mit den oberen Enden jeder der aufgeteilten Regionen fQr die Detektion des Gegenstandes zusammen 

Zum Zwecke der Gewinnung des zweidimensionalen Fensters WD2 in Abhangigkeit vom dreidimensionalen 
Fenster WD3 wird zunachst die Koordinate (in, jn) auf dem Bild durch die obige Gleichung (5) und Gleichung (6) 
abhangig von jeder Koordinate (Xn, Yn, Zn) von acht Oberseiten des dreidimensionalen Fensters WD3 berech- 
net, und es wird ein acht Oberseiten einhQllendes Polygon berechnet Fig. 18 zeigt ein Beispiel, fur das das 
zweidimensionale Fenster WD2 fQr einen (das parkende Auto 300) der detektierten Gegenstande, der in Flsr. 16 
dargestellt ist, gesetzt worden ist « » * 

Die Gegenstandskonturextraktionseinrichtung 133 begutachtet jede einzelne Date im zweidimensionalen 
Fenster WP2, selekUert nur Daten, die im dreidimensionalen Fenster WD3 enthalten sind, extrahiert ein IContur- 
bild des detektierten Gegenstandes und detekdert eine positionelle Beziehung zwischen dem detektierten 
Gegenstand und der eigentlichen Fahrzeugkarosserie des in Frage stehenden Fahrzeugs. 

Folglich begutachtet die Extraktionseinheit 133 ieine um die andere Date in den zweidimensionalen Fenstern 
WD2 fOr jeden Gegenstand, berechnet die dreidimensionale Position (X. Y, Z) durch die obigen Gleichungen (3) 
und (4) beztighch von Pixeln, die Distanzdaten umfassen, extrahiert nur Daten, deren Distanz- und Hdhewerte in 
emem Bereich des dreidimensionalen Fensters WD3 eingeschlossen sind, und verwirft die Obrigen Daten. 

Fig. 19 zeigt die extrahierten Daten in der Weise, daB sie auf das zweidimensionale Fenster projiziert sind. 
Ferner wird ein Konturbild des Objekts durch Verbinden eines Umrisses der Daten durch Linien gemaB 
Darstellung in Fig, 20 gewonnen. Eine Koordinate (i, j) auf den Bildern am linken und rechten Ende und dem 
oberen Ende des Konturbildes wird detektiert, um Positionen des linken und rechten Endes und oberen Endes im 
dreidimensionalen Raum zu berechnen, indem die Detektionsdistanz Z des Objekts und die oben erwahnten 
Gleichungen (3) und (4) verwendet werden. Als Ergebnis kann die Breite des Gegenstandes durch die Positionen 
vom linken und rechten Ende gewonnen werden; und die Hohe des Objekts kann aus der Lage des oberen Endes 
gewonnen werden. In Fig. 20 ist es mOglich, zu ermitteln. daB der Gegenstand eine Breite von 1,7 m und eine 
Hdhe von 1,3 m aufweist 

Ferner ist die Funktion des Seitenwanddetektors 140 durch den Mikroprozessor 120b weiter in eine Kon- 
struktionsdatenextraktionseinrichtung 141. einen Seitenwand-Geradliniendetektor 142 und einen Seitenwand- 
bereichsdetektor 143 unterteilt, in dem eine Unterscheidung der Seitenwand von der StraBe durch die H6he von 
der StraBenoberflache unterschieden wird, und die Unterscheidung der Seitenwand vom entfemten Hinterr 
grund wird durch die Distanz vor und hinter dem Fahrzeug und die benachbarte Distanz durchgefuhrt Folglich 
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extrahiert der Detektor 140 nur Daten um die Seitenwand herum, die a!s vorhanden vorausgesetzt wird, und die 
extrahierten Seitenwanddaten werden durch die Hough-Transformation im Hinblick auf die Charakteristiken 
detektiert, die enilang der geraden Linie in der horizontalen Richtung angeordhet sind, um die Position der 
Konsiruktion 2U gewinnen. 

Folgiich extrahiert die Konstruktionsdatenextraktionseinrichtung 141 nur die Daten uber der vorbestimmten 5 
StraQenoberfl&che, die vorab festgelegt wurde, aus den Distanzverteilungsdaten. und der Seitenwandgeradli- 
niendetektor 142 extrahiert nur die Daten innerhalb einer zuvor festgelegten Seitenwandsuchregion, und die 
extrahierten Daten werden durch die Hough-Transformation verarbeitet, wodurch eine lineare Gleichung 
detektiert wird, die das Vorhandensein oder Fehlen der Seitenwand und die Position der Seitenwand anzeigt. 
Der Seitenwandbereichsdetektor 143 setzt eine abgeschStzte Seitenwandregion fest, in der die Seitenwand ats 10 
vorhanden angenommen wird, auf der Grundlage der geraden Linie, die die Position der Seitenwand anzeigt, 
und detektiert die Position von Enden vor und hinter der Seitenwand in Abhangigkeit vom Verteilungszustand 
der Konstruktionsdaten in der abgesch^tzten Seitenwandregion. 

Da die Seitenwand ein Teil der Konstruktion ist, extrahiert die Konstruktionsdatenextraktionseinrichtung 141 
im Detail die Daten der Konstruktion iiber der StraBenoberfiache aus den Distanzbildern. Da die eine Hdhe 15 
unter 0,1 m aufweisende Konstruktionen als weiBe Linie, Stein oder Schatten auf der StraBe behandelt werden, 
werden zu diesem Zeitpunkt derartige Daten verworfen. Da die Konstruktionen mit einer Hohe oberhalb des 
Fahrzeugdachs als FuBgangeruberfuhrung und Verkehrszeichen oder Verkehrsschild identifiziert werden, wer- 
den auch diese Daten verworfen. Folglich extrahiert die Extraktionseinrichtung nur die Daten der jeweiligen 
Konstruktion auf der StraBe. 20 

Obgieich die Konstruktionsdaten-Extraktionseinrichtung 141 die Daten der Konstruktion mit einem weiten 
auf dem Bildschirm abgebildeten Bereich extrahiert, wird im Seitenwand-Geradliniendetektor 142 eine Grenze 
fur den Seitenwandsuchbereich gesetzt, da eine Verarbeitung uber den gesamien Datenumfang im Seitenbe- 
reich nicht verniinftig ist 

Qberbiickt man den Bereich. in dem das Bild aufgenommen wird. ist das Sichtfeld der CCD-Kamera 1 1 auf die 25 
in Fig. 21 dargesteJite Vogelschauperspektive beschr^kt F^hrt das Fahrzeug normal auf der StraBe, so liegen 
Seitenwande auf der linken und rechten Seite des Fahrzeugs 1 im wesentlichen entiang des Fahrzeugs vor. 
Andererseits ist eine Seitenwand in groBem Abstand schwierig zu detektieren. und zwar hinsichtJich der 
Prazision der Distanzdaten, und beinhaitet auch nur eine geringe Notwendigkeit der Detektion. Folglich werden 
im Hinblick auf diese Bedingungen zwei Suchbereiche SL und SR auf derlinken und rechten Seite festgelegt, und 30 
es werden speziell die Seitenwande auf der rechten Seite und linken Seite detektiert. 

Mit anderen Worten setzt zur Detektion der Seitenwande auf der linken und rechten Seite der Seitenwand- 
Geradliniendetektor 142 zunachst den Suchbereich auf der linken Seite fest, um die Seitenwand-Geradlinienex- 
traktionsverarbeitung und die Seitenwanddetektionsverarbeitun'g so durchzufuhren, daB die iinke Seitenwand 
erfaBt wird, und dann setzt der Detektor 142 wieder den Suchbereich auf der rechten Seite fest. um die 35 
obengenannten Verarbeitungsvorgange zur Detektion der rechten Seitenwand auszufuhren. 

Um die Konstruktionsdaten, die in den Suchbereichen SL und SR enthaJten sind. zu extrahieren, wird die 
dreidimensionale Position (X- und Z-Koordinaten) des Objekts jeder durch die Konstruktionsdatenextraktions- ■ 
einrichtung 141 extrahierten Date berechnet, um die dreidimensionale Position (X, Z) und jeden der Suchberei- 
che SR und SL zu vergleichen und zu beurteilen. 40 

Beispielsweise kann im in Fig. 22 gezeigten Zustand jeder der Suchbereiche SR und SL durch eine gepunktete 
Linie auf dem Bild dargestelit werden, wobei hier verschiedene Konstruktionen im Suchbereich zusatzlich zur 
Seitenwand als Gegenstand vorliegen. Da ferner noch Pseudodaten einschlieBlich Rauschen im Distanzbild 
enthalten sind, liegen nur verteilte Daten in dem Raum vor, in dem tatsachlich kein Geg;enstand vorliegt. In 
Fig. 23, die diese Daten als Modell zeigt, weist die Seitenwand die Charakteristik auf, bei der die Daten auf einer 45 
geraden Linie angeordnet sind. Entsprechend wird die Seitenwand detektiert, indem die lineare Gleichung des 
Datenzuges unter Verwendung einer Hough Transformation berechnet wird. 

Hier wird eine Detektion der linearen Gleichung durch Hough Transformation beschrieben. Es wird voraus- 
gesetzt, daB eine gerade Unie Fi sich durch Konstruktionsdaten im Punkt P| erstreckt (Koordinate Xi, Zi), wie in 
Fig. 24 gezeigt ist. Die lineare Gleichung ergibt sich dann folgendermaBen: 50 

X = afi X Z-l-bfi (8). 

Darauffolgend wird, wie in Fig. 25 gezeigt ist, ein Parameterraum mit einer Neigung afi der Gleichung (8) als 
vertikale Achse gesetzt und einem Bruchstuck bfi (Achsenabschnitt) als horizontale Achse. Ferner erfolgt eine 55 
Abstimmung oder Auswahl an der Position entsprechend den Parametern afi und bfi in der Gleichung nach Art 
einer Votierung. 

Eine Variationsbreite der Neigung afi im Bereich von ±20** {afi: ±036) ist praktisch ausreichend, da die 
Seitenwand als im wesentlichen parallel zum Fahrzeug 1 betrachtet wird. Ein Wert fur das Bruchstack bf i ist auf 
den Bereich X « — 1 bis — 10 m beschrankt, als Iinke Seite des Fahrzeugs, wenn die linke Seitenwand detektiert eo 
wird, und auf einen Bereich von X = + 1 bis + 10 m fQr die rechte Seite, wenn die rechte Seitenwand detektiert 
wird. Der Grund fur diesen begrenzten Bereich von ± 10 m ist darin begrOndet, daB die Detektion einer vom 
Fahrzeug weit abgelegenen Seitenwand nur eine geringe Notwendigkeit fUr die Praxis aufweist 

Eine derartige EinschrSnkung fOhrt dazu, daB der Abstimmbereich oder Auswahlbereich auf dem Parameter- . 
raum zu einem rechtwinkligen Bereich gemaB Darstellung in Fig. 25 wird und diese rechtwinklige Flache ferner 65 
in eine Vielzahi von Rasterbereichen unterteilt wird, bei denen jeweils eine Auswahl erfolgt. Die Neigung afi in 
Gleichung (8) liegt innerhalb eines vorbestimmten Anderungsbereichs (beispielsweise ±10* bis ±20**) und wird 
bei jedem Intervall Aaf des Rasters mit einer Variation von eins um eins festgelegt Das Bruchstuck bfi wird 



n 



DE 44 46 452 Al 



durch Substituieren einer festgelegten Neigung afi und einer Koordinate (Xi, Zi) der Konstruktionsdaten Pj fQr 
Gleichung (8) berechnet» und die Auswahl wird fQr das Raster entsprechend dem Parameterraum ausgefQhrt, 
falls der berechnete Wert innerhalb des BeschrSnkungsbereichs liegt 

Die detektierte Position der Seitenwand, expHzit die Detektionsgenauigkeit der Neigung und des Abschnitts 
5 Oder BruchstQcks in der linearen Gleichung, wird durch die Rasterintervalle Aaf und Abf festgelegt, die durch ein 
Erfordernis der externen Vorrichtung unter Verwendung der Seitenwanddaten festgelegt werden. Beispielswei- 
se sollte das Rasterintervall Aaf zwischen 1 bis 2^ liegen und das Rasterintervali Abf 0,3 bis 0,6 m betragen, um als 
MeBeinrichtung fur eine gefahrliche Situation wie cine Koliision verwendet werden zu kdnnen, wenn das 
Fahrzeug normal auf der StraBe fahrt. 

10 Wie oben beschrieben, erfolgt die Votiening des Parameterraums mit den gesamten Konstruktionsdaten im 
Suchbereich. Existieren dann, wie in Fig. 24 gezeigt ist, die entlang einer geraden Linie angeordneten Daten, so 
liefert das Raster entsprechend den Parametem afi und bfi jder geraden Linie, die auf eine Weite festgelegt 
werden, daB sie mit dem Datenzug koinzidieren, zahlreiche Mehrheitsauswahlen oder Votierungen, die lokal als 
Maximumwerte in jeder der iinken und rechten Auswahlregionen SL und SR erscheinen. 

15 Der lokale Maximumwert wird zu einem groBen Wert, wenn die Seitenwand existiert und ein deutlicher 
KonstruktionsdatenztJg vorliegt, wohingegen der lokale Maximumwert einen geringen Wert annimmt, wenn die 
Seitenwand nicht vorliegt und eine Mehrzahi von Gegenstanden sporadisch existiert. Folglich werden die 
lokalen Maximumwerte in jedem der linken und rechten Votierbereiche SL und SR im Parameterraum detek- 
tiert, wodurch das Vorhandensein der Seitenwand geschlossen wird, falls das detektierte lokale Maximum uber 

20 einem Beurteilungswert liegt. Der Beurteilungswert wird unter der BerQcksichtigung der GrOBe der festgeleg- 
ten Suchregion und der Distanz zwischen den Rasterlinien festgelegt. 

Wenn der Seitenwandgeradliniendetektor 142 ermittelt. daB die Seitenwand vorhanden ist, detekiiert der 
Seitenwandbereichsdetektor 143 die Positionen der vorderen und hinteren Enden der Seitenwand. Wenn die 
Parameter af und bf aus den entsprechenden Rastern der lokalen Maximumwerte ausgelesen werden, wird die 

25 Seitenwand anhand der unteren linearen Gleichung (9) abgeschatzt, und zwar als die gerade Linie Ff gem^B 
Darstellung in Fig. 26, wenn die detektierte lineare Gleichung beispielsweise in Fig. 24 dargestellt ist. 

X«afxZ + bf (9). 

30 Wenn die Region einer Breite von 03 bis 1.0 m an der Mitte der geraden Linie Ff als eine Seitenwandkandida- 
ten- Region Tf angesetzt wird, wird diese Region in der Z-Richtung gemSB Darstellung in Fig. 26 unterteilt Die 
Breite der Seitenwandkandidatenregion Tf wird aus der Rasterdistanz Abf des Parameterraums unter der 
Beriicksichtigung von Datenfehlern und dergleichen festgesetzt. 

Darauffolgend werden die Konstruktionsdaten in der Suchregion sequentiell begutachtet, wobei nur die 

35 Daten innerhalb der Seitenwandkandidatenregion Tf extrahiert werden. AnschlieBend wird die Anzahl von 
Konstruktionsdaten in jeder Sektion zur Bildung eines Histogramms gezdhlt. Das in Fig. 27 als Mcklell darge- 
stellte Histogramm umfaBt einen Abschnitt, der von einer Seitenwand eingenommen wird und einen hohen 
Haufigkeitsgrad aufweist. Folglich ist es mSglich, zu schlieBen, daB die Seitenwand in der Region vorliegt, indem 
der Abschnitt ermittelt wird. in deni der Grad auf oder tiber dem Beurteilungswert liegt, wobei die Positionen 

40 vom vorderen und hinteren Ende durch Berechnen der dreidimensionalen Position der Seitenwand festgelegt 
. werden. Im in Fig. 24 gezeigten Beispiel wird ein oberes Ende der Suchregion SR als die Position des hinteren 
Endes der Seitenwand (Leitplanke 400) angesehen. 

Fig. 28 zeigt die durch die obige Verarbeitung detektierte Seitenwand als Rahmenlinie. In diesem Beispiel 
kann die Seitenplanke an der rechten Seite detektiert werden. 

45 Wie oben erl^utert ist es mdglich. Parameter wie Position und Form jedes Gegenstandes auf der StraBe in 
Abh&ngigkeit vom Distanzbild zu gewinnen, das in den Konstruktionsparameterspeicherabschnitt 150 zu schrei- 
ben ist. Dann berechnet die Zwischenraumdistanzberechnungseinrichtung 160, gebildet vom Mikroprozessor 
120c, die Zwischenraumdistanz auf der linken und rechten Seite zwischen dem Fahrzeug und dem detektierten 
Gegenstand. 

so Ist beispielsweise in der Abbildung der Fig. 9 eine X-Koordinate Xl eine Seite des parkenden Fahrzeugs 200, 
eine X-Koordinate Xr eine Seite des parkenden Fahrzeugs 300 und eine X-Koordinate XwR ein Ende der 
Leitplanke 400 aus Fig. 29', wird eine Distanz Dl zwischen der verl^ngerten Linie der linken Seite des Fahrzeugs 
1 und dem parkenden Fahrzeug 200 auf der linken Seite aus Gleichimg (10) berechnet, ferner wird eine Distanz 
Dr zwischen der verlangerten Linie der rechten Seite des Fahrzeugs 1 zum parkenden Fahrzeug 300 auf der 

55 rechten Seite aus Gleichung (11) berechnet, und es wird eine Distanz DwR zwischen der verlangerten Linie der 
rechten Seite des Fahrzeugs 1 und der Leitplanke 400 auf der rechten Seite aus Gleichung (12) berechnet, wenn 
die Breite des Fahrzeugs 1 W betrSgt 

Dl« |Xl|-W/2 (10) 

60 

Dr-|Xr|-W/2 (11) 
DwR« |Xwr| ~W/2 (12). 

65 Es erfolgt an jeder Kante eine BerechnungdurchdieGleichungen(10),(ll)und(12), um sodie Minimumwerte 
auf der linken und rechten Seite zu gewinnen. Die Minimumwerte werden zur nSchsten Distanz, nSimlich der 
Zwischenraumdistanz. Zur Zwischenraumdistanz wird ein kleiner Raum fQr einen Ruckspiegel des Gegenstand- 
fahrzeugs entsprechend der Darstellung in Fig. 3 hinzuaddiert. 
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Da im in Fig. 9 gezeigten Beispiel die Distanz Dr zwischen dem parkenden Fahrzeug und dem Fahrzeug 1 
geringer als die Distanz Dwr zwischen der Leitplanke 400 und dem Fahrzeug I ist, wird die Distanz Dr als rechte 
Zwischenraumdistanz zur Ausgabe auf dem Display 3 auf gegrif f en. 

Ein Schwellwert wie beispielsweise 1 m wird fCir den numerischen Wert der auf dem Display 3 darzustelienden 
Zwischenraumdistanz vorgesehen, wobei ein numerischer Wert oberhalb dieses Schwellwerts nicht dargestellt 5 
ist, und zwar deshalb, weil es keii>en Sinn macht, den numerischen Wert noch darzustellen. wenn der Zwischen- 
raum ausreichend groQ ist. 

Im folgenden wird die Funktionsweise des Bildprozessors 20 und des Distanzbildverarbeitungscomputers 120 
erlauterL 

Fig. 30 ist ein Flufidiagramm, das den FunktionsfluB des Bildprozessors 20 zeigt Im Schritt SlOl werden die 10 
durch die CCD-Kameras 11a und lib auf der linken und rechten Seite aufgenommenen Bilder eingegeben. Im 
Schritt S102 fQhren, nachdem die eingegebenen analogen Bilder durch die A/D-Wandier 31a und 31b in digitale 
Bilder umgesetzt worden sind, die eine vorbestimmte Leuchtdichtegradation aufw'eisen, die LUTs 32a und 32b 
eine Kompensation der Eigenschaften der CCD-Kameras 11a und lib auf der iinken und rechten Seite durch 
und erhahen den Kontrast einer Komponente niedriger Leuchtdichte, urn dann die Bilddaten In den Bildspei- is 
chern 33a und 33b zu speichern. 

Die in den Speichern 33a und 33b gespeicherten Bilder sind nur Linien, die fur die Verarbeitung in den 
folgenden Schritten erforderlich sind» innerhalb aller Zeilen (Linien) der CCD-Elemente der CCD-Kameras 11a 
und lib, und werden erneut eingeschrieben mit einer Rate von einmal pro 0,1 s (eine Rate von elnmai pro 3 im 
tV-Biid). 20 

Darauffolgend werden im Schritt SI 03 die Daten des linken und rechten Bildes, die vier Linien oder Zeilen ' 
umfassen, aus den Bildspfeichern 33a und 33b fur die linken und rechten Bilder uber den gemeinsamen Bus 80 in 
die Eingangspufferspeicher 41a, 41b, 42a und 42b gelesen, um so eine Obereinstimmung oder Abstimmung, 
namlich eine Koinzidenz zwischen den zuvor eingelesenen linken und rechten Bildern abzuschatzen. 

Zu diesem Zeitpunkt werden Lese- und Schreiboperationen alternierend wiederholt, wobei der Lesevorgang 25 
. von den Bildspeichern 33a und 33b zu den Eingangspufferspeichern 41 a» 41b, 42a und 42b durchgefiihrt wird und 
der Schreibvorgang zu den Schieberegistern 43a, 43b, 44a und 44b erfolgt Beispielsweise werden im linken Bild, 
wShrend die Bilddaten aus dem Bildspeicher 33a in den Puff erspeicher 41a auf einer Seite eingelesen werden, die 
Bilddaten aus dem Eingangspuffer auf der anderen Seite in das Schieberegister43b geschrieben. Im rechten Bild 
werden. w^hrend die Bilddaten aus dem Bildspeicher 33b in den Pufferspeicher 42a auf einer Seite eingelesen 30 
werden, die Bilddaten aus dem Pufferspeicher 42b auf der anderen Seite in das Schieberegister 44b geschrieben. 

Wie in Fig. 31 gezeigt ist, speichern die Schieberegister 43a, 43b, 44a und 44b Bilddaten (1. 1) bis (4, 4) der 
kleinen Regionen von 4x4 Pixeln im linken und rechten Bild, in denen die Schieberegister 43a (44a) Daten der 
ersten und zweiten Zeile und die Schieberegister 43b (44b) Daten der dritten und vierten Zeile in der Reihenfol- 
ge der ungerade numerierten Zeile. und der geraden numerierten Zeile fur jedes Pixel speichern. Jedes der 35 
Schieberegister 43a, 43b, 44a und 44b weist eine unabhangige Obertragungszeile auf, und die Daten von 4x4 
Pixeln werden beispielsweise durch acht Takte ubertragen. 

Der Inhalt der geraden Stufen innerhalb der acht Stufen wird augenblicklich aus den Schieberegistern 43a, . 
43b, 44a, 44b in die City-Block- Distanzberechnungsschaltung 45 ubergeben. Wenn die Berechnung der City- 
Block-Distanz H beginnt, werden die rechten Bilddaten in den Schieberegistern 44a und 44b gespeichert, und es 40 
werden die Daten ungerader Zeilen und die Daten gerader Zeilen abwechselnd mit jedem Takt ausgegeben. 
Andererseits werden die linken Bilddaten fortgesetzt in die Schieberegister 43a und 43b ubertragen und dann die 
Daten ungerader Zeilen und die Daten gerader Zeilen alternierend ausgegeben, und es werden die Daten jeweils 
ein Pixel pro zwei Takte nach rechts verschoben und ersetzt Dieser Vorgang wird wiederholt, bis die Ersetzung 
von 100 Pixeln (200 Takte) erfolgt ist. . 

AnschlieBend, wenn die Obertragung bezuglich einer kleinen Region abgeschlossen ist, beginnt der ProzeO in 
der nachsten kleinen Region durch Setzen des Inhalts (eine Anfangsadresse in der kleinen Region von 4x4 
Pixeln) im rechten BildadreBzahler in den linken BildadreBzahler in einer Nr. 2-A Adressensteuereinrichtung 87. 

In der City-Block-Distanzberechnungsschaltung 45 werden, wie im Zeitdiagramm der Fig. 32 gezeigt, die 
Daten fur die acht Pixel zunachst in einen Absolutwertberechner in der ersten Stufe der Pyramidenkonstruktion 50 
eingegeben, um einen Absolutwert der Leuchtdichtedifferenz zwischen dem linken und rechten Bild zu berech- 
nen, wobei die Leuchtdichte des linken Bildes von der Leuchtdichte des entsprechenden rechten Bildes subtra- 
hiert wird. Wenn das Subtraktionsergebnis negativ ist, erfolgt die Subtraktion erneut, indem die Subtraktionspo^ 
sitionen ausgetauscht werden, um den Absolutwert zu berechnen. Folglich gibt es einmal eine Geiegenheit, bei 
derzweiSubtraktioneninderAnfangsstufeausgefGhrt werden. . ^5 

Nachdem die Anfahgsstufe abgeschlossen ist, werden zwei augenblickliche Eingangsdaten durch die ersten bis 
dritten Addierer der zweiten bis vierten Stufe addiert, um Addiiionsdaten auszugeben. Dann addiert der 
Gesamtsummenaddierer in der Endstufe zwei kontinuierliche, zusammenhangende Daten zueinander, um die 
gesamte Summe zu berechnen, so daB die City- Block- Distanz H fOr erforderliche 16 Pixelkomponenten alle zwei 
Takte zum Minimum- und Maximumwertdetektor 50 ausgegeben wird, - 60 

Darauffolgend werden im Schritt S104 der Maximumwert Hmax und der Minimumwert Hmin fiir die City- 
Block-Distanz H ermittelt, die im Schritt S103 berechnet worden ist Wie oben erwShnt, eritsprechen die 
Ermittiungen von Maximumwert Hmax und Minimumwert Hmin einander mit Ausnahme der entgegengesetz- 
ten Logik und einer Speicherung des Abweichungsbetrags. Folglich wird welter unten die Detektion des 
Minimum werts Hmcn als repr^sentativ dargeiegt. 65 

Zunachst wird die City-Block-Distanz H (der Abweichungsbetrag x =0) des ersten Aiisgangssignals durch die 
C-Latchschaltung 53 der Minimumwertdetektorschaltung 51 aus Fig. 8 zum B-Register 46b des Rechners 46 
zugefahrt Die City-Block-Distanz H (Abweichungsbetrag S«l), die im nachsten Takt ausgegeben wird, wird 
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der C-Latchschaltung 53 und dem Rechner 46 zugefDhrt Der Rechner 46 beginnt mit der Vergleichsberechnung 
mit dem Register 46b gleichzeitig mit der Eingabe der City-Block-Distanz H. 

Als Ergebnts der Vergleichsberechnung im Rechner 46 wird, falls der Inhalt im A- Register 46a geringer als der 
Inhalt im B-Register 46b ist, der Inhalt in der OLatchschaltung 53 (n&mlich der Inhalt im A-Register 46a) beim 
5 nftchsten Takt zum B-Register 46b Obertragen, und der Abweichungsbetrag 5 zu diesem Zeitpunkt wird in der 
D-Latchschaltung 55 gespeichert Gleichzeitig mit diesem Takt wird die n&chste City-Block-Distanz H (Abwei- 
chungsbetrag 5 = 2) dem A-Register 46a und der C-Latchschaltung 53 zugefOhrt, um die Vergleichsberechnung 
wieder zu starten. 

Auf diese Weise wird, wahrend der Minimumwert in der Mitte der Berechnung gewdhnlich im B- Register 46b 
10 gespeichert wird und der Abweichungsbetrag 8 zu diesem Zeitpunkt in der D-Latchschaltung 55 gespeichert 
wird. die Berechnung fortgesetzt, bis der Abweichungsbetrag 100 wird. Wenn die Berechnung abgeschlossen ist 
(n&mlich einen Takt nach Ausgabe der letzten City-Block- Distanz H), wird der Inhalt im B- Register 46b und der 
D-Latchschaltung 55 in die Abweichungsbetragbestimmungseinrichtung 60 gelesen. 

wahrend dieser Verarbeitung liest die oben erwahnte City-Block- Distanzberechnungsschaltung 45 den An- 
15 fangswert der nachsten kleinen Region, um die Erzeugung einer Totzeit zu vermeiden. Obgleich vier Takie fOr 
die Berechnung einer City-Block-Distanz H in Anspruch genommen werden konnen, da die Schaltung 45 eine 
Pipelinekoristitution aufweist, neue Berechnungsergebnisse alle zwei Takte gewonnen werden. 

Wenn der Minimumwert Hmin und der Maximumwert Hmax der City-Block-Distanz H im Schritt S104 
erstellt sind, pruft die Abweichungsbetrag- oder kurz Diskrepanzbestimmungseinrichtung 60 die oben erw&hn- 
20 ten drei Bedingungen zur Ermittlung des Abweichungsbetrags x im Schritt S 1 05. 

Foiglich wird gemaB Darstellung in Fig. 33 der Minimumwert Hmin uber den B-Bus 62b in das B-Register 62 
gegeben und dort gespeichert, und der Schwellwert Ha. der mit dem Wert im B-Register 72 verglichen wird, 
wird uber den A-Bus 62a in das A^Register 71 gegeben und dort gespeichert. Dann vergleicht die ALU 70 beide 
Werte. Wenn der Minimumwert Hmin grdBer als der Schwellwert Ha ist. wird die Schaltstufe 65 so ziirCickge- 
25 stellt. daB sie gewdhnlich "0" trotz irgendeiner spSteren PrGfung ausgibt 

Daraufhin wird der Maximumwert Hmax durch das A-Register 71 gespeichert, und die Differenz zwischen 
dem Maximumwert HMAXt der im A-Register 71 gespeichert ist, und dem Minimumwert Hmin* der im B-Regi- 
ster 72 gespeichert wird. wird zur Ausgabe des Berechnungsergebnisses an das F-Register 73 berechnet. Das 
A-Register 71 speichert den Schwellwert Hb beim nachsten Takt und vergleicht ihn mit dem Wert im F-Register 
30 73. Die Schaltstufe 65 wird auf dieselbe Weise zuriickgesetzt. wenn der Inhalt im F-Register 73 kleiner als der 
Schwellwert Hb ist, der im A-Register 71 gespeichert ist 

Vom nachsten Takt an wird mit der Berechnung der Leuchtdichtedifferenz zwischen benachbarten Pixeln 
begonnen. Zwei Schieberegister 64a und 64b weisen einen jeweils zehnstufigen Aufbau auf zur Speicherung der 
Leuchtdichtedaten und sind mit den hinteren Stufen der Schieberegister 44a und 44b der City- Block- Distanzbe- 
35 rechnungseinheit 40 verbunden, in der das Schieberegister 44a fUr die erste und zweite Zeile dient und das 
Schieberegister 44b fGr die dritte und vierte Zeile. Die Ausg^nge der Schieberegister 64a und 64b werden von 
der Endstufe abgegriffen, und zwei vor der Endstiife zur Ausgabe an den A-Bus 62a bzw. an den B-Bus 62b. 

Wenn die Berechnung der Leuchtdichtedifferenz beginnt, speichert jede Stufe in den Schieberegistern 64a und 
64b die Leuchtdichtedaten jeder Stelle in den kleinen Regionen, und das A-Register 71 und das B-Register 72 im 
40 Rechner 61 speichern zunSchst die Leuchtdichtedaten in der vierten Spalte in der ersten Reihe der vorhergehen- 
den kleinen Region und die Leuchtdichtedaten in der ersten Spalte der ersten Reihe der gegenw^rtigen kleinen 
Region. 

Der Rechner 61 berechnet einen Absolutwert der Differenz zwischen dem Inhalt im A-Register 71 und dem 
Inhalt im B-Register 72 zur Speicherung des berechneten Ergebnisses im F-Register 73. Das A-Register 71 

45 speichert den Schwellwert He beim nachsten Takt zum Vergleich dieses Werts mit dem Wert im F-Register 73. 

Ist als Ergebnis im Rechner 61 der Inhalt (der Absolutwert der Leuchtdichtedifferenz) im F-Register 73 grSBer 
als der Inhalt (Schwellwert He) des A-Registers 71, so gibt die Schaltstufe 65 den Abweichungsbetrag x oder "0" 
aus. Ist demgegenuber der Inhalt im F-Register 73 kleiner als der Inhalt im A-Register 71, so gibt die Schaltstufe 
65 "0" zur Einschreibung an der Position in der ersten Spalte der ersten Reihe der kleinen Region entsprechend 

50 den Ausgangspuffem 66a und 66b aus. 

Wahrend der Rechner 61 die Leuchtdichtedifferenz zwischen den benachbarten Pixeln mit dem Schwellwert 
He vergleicht, verschieben die Schieberegister 64a bzw. 64b jeweils eine Stufe. Dann beginnt der Rechner 61 mit 
der Berechnung der Leuchtdichtedaten in der vierten Spalte in der zweiten Reihe in der vorhergehenden kleinen 
Region und der Leuchtdichtedaten in der ersten Spalte in der zweiten Reihe der gegenwSrtigen kleinen Region. 

55 Auf diese Weise wird nach Durchftihrung der wechselweisen Berechnung fUr die erste und zweite Reihe der 
kleinen Region dieselbe Berechnung beziiglich der dritten und vierten Reihe ausgefflhrt. 

wahrend der Berechnung wird durch Verbinden der Endstufe des Schieberegisters 64a mit der ersten Stufe 
des Schieberegisters 64b ein Ringregister gebildet Wenn zwei Schiebetakte nach der Berechnung fQr die 
Gesamtheit der kleinen Regionen hinzugeftigt bzw. addiert sind, geht der Inhalt im Register auf den Zustand vor 

60 der Berechnung zurUck, Wenn die Leuchtdichtedaten in der nachsten kleinen Region fiir die Obertragung 
vervollstandigt sind» werden die Daten in der vierten Reihe in der gegenwartigen kleinen Region in der Endstufe 
und vorausgehenden Stufe beibehalten. 

Da auf diese Weise die nachsten Daten im A-Bus 62a und B-Bus 62b vorgesehen werden und die Berechnungs- 
ergebnisse dort eingeschrieben werden und zwar wahrend der Berechnung zur Ermittlung des Abweichungsbe- 

65 trages, wird eine Date nur durch zwei fiir die Berechnung erforderliche Takte verarbeitet Infolgedessen wird die 
gesamte Berechnung inner halb 43 Takte abgeschlossen, obgleich die Anfangsprtlfung fur den Minimumwert 
Hmin und den Maximumwert Hmax eingeschlossen ist, und es ist ausreichend Zeit vorhanden, um den Mini- 
mumwert Hmin und den Maximumwert Hmax der City-Block-Distanz H hinsichtlich einer kleinen Region zu 
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ermitteln, wodurch hierbei die Moglichkeit der Hinzufugung einer weiteren Funktion besteht. 

Es wird im Schriit SI 06 der Abweichungsbetrag ermittelt. wobei der Abweichungsbetrag x als Distanzvertei- 
lungsinformation aus den Ausgangspufferspeichern 66a und 66b zum Dualportspeicher 90 ausgegeben wird, um 
so die Verarbeiiung im Bildprozessor 20 zu beenden. 

Die Ausgangspufferspeicher 66a und 66b weisen beispieisweise eine Kapazitat von vier Zeilen wie im Fall der 5 
oben erwahnten £ingangspufferspeicher41a,41b, 42a und 42b auf. Wahrend die Distanzverteilungsdaten in ein 
Paar von zwei Paaren eingeschrieben werden, werden die Daten von einem weiteren Faar zweier Paare zum 
Dualportspeicher 90 ubertragen. 

Es ist mdgilch, die dreidimensionale Position im XYZ-Raum des Gegenstandes entsprechend jedem Pixel aus 
der Distanzverteilungsinformation zu berechnen, die in den Dualportspeicher 90 eingeschrieben ist, und zwar in 10 . 
Abhangigkeit vom Linsenparameter wie einer Anbringungsposition und einer Brennweite und dem Brennpunkt 
der CCD-lCameras 11 und 12, wodurch es mdglich ist, die Distanz des Gegenstandes aufierhalb des Fahrzeugs 
ohne Verschlechterung der Datenmenge prSzise zu ermitteln. 

Es wird nun die gesamte Zeitsteuerung des Bildprozessors 20 entsprechend der Zeittabelle in Fig. 34 erlautert 

Zunachst schreiben die Bildspeicher 33a und 33b jeweils das Teilbildsignal (field-signal) von der linken und 15 
rechten CCD-Kamera 11a und lib ein. die einander mil einer Zeitsteuerung von jeweils 0,1 s synchronisieren 
(mit einer Rate von einem Bild pro drei Bildem). 

Daraufhin wird ein Block bei jeweils vier Zeilen nach Empfang eines Aufnahmeendsignals ubertragen. Die 
Obertragung erfolgt durch Obertragen von drei Biocken des rechten Bildes, linken Bildes und des Distanzvertei- 
lungsbildes als Ergebnis in dieser Reihenfolge. 20 

Wahrenddessen erfolgt die Berechnung beziiglich eines Abweichungsbetrages 5 fur einen der Eingangs- und 
Ausgangspufferspeicher, Nach Verstreichen einer vorbestimmten Zeit unter Berucksichtigung der Berech- 
nungszeit fQr den Abweichungsbetrag 5 erfolgt eine Obertragung in den anderen der Eingangs- und Ausgangs- 
pufferspeicher. 

Hundert Berechnungen werden fUr die City- Block- Distanz H hinsichtlich einer kleinen Region von 4x4 25 
Pixeln eines rechten Bildes durchgefiihrt, da die Berechnung durch Verschieben von 100 Pixeln uber das linke 
Bild ausgefOhrt wird. Wahrend die Berechnung bezOgiich der City-Block- Distanz H in einer Region ausgefuhrt 
wird, wird der Abweichungsbetrag 5 in der vorausgehenden Region als die Distanzverteilung nach jeder 
PrUfung ausgegeben. 

Betragt die zu verarbeitende Zeilenzahl 200, wird eine Verarbeitung fur vier Zeilen 50mal wiederholt, wo- 30 
durch eine Verarbeitungszeit von acht Zeilen erforderlich ist, und zwar vier Zeilen, um die Anfangsdaten beim 
Starten der Berechnung zu Qbertragen, und von vier Zeilen, um das Endergebnis nach AbschluB der Berechnung 
zum Bilderkennungsabschnitt zu Ubertragen. * 

Im Ergebnis ist eine Zeit 0,076 s fQr die tatsachliche Operation der Schaltung vom Beginn der Obertragung der . 
anfangiichen Eingangsbildzeile bis zum Ende der Obertragung der Enddistanzverteilung erforderlich. 35 

Ferner zeigen die FluBdiagramme der Fig. 35 und 36 eine Gegenstanddetektions-Verarbeitung, die im Mikro- 
prozessor 120a erfolgt Im Schritt S201 wird eine Position der StraBenoberflache gesetzt Im Schritt S202 wird 
das Distanzbild vom Bildprozessor 20 in rasterformige Regionen aufgeteilt Im Schritt S203 werden die Daten . 
aus der Anfangsregion gelesen. 

Darauffolgend fahrt das Verfahren mit Schritt S204 fort, und die Anfangsdaten in der Region werden gesetzt. 40 
Im Schritt S205 erfolgt die Berechnung hinsichtlich der dreidimensionalen Position (X, Y, Z) des Gegenstandes, 
namlich der Distanz und Hohe. Nachdem die Hdhe der StraBenoberflache im Schritt S206 fur die Distanz Z 
berechnet worden ist, werden die Daten iiber der StraBenoberflache im Schritt S207 selektiert. 

Im Schritt S208 werden die Daten dahingehend iiberpruft, ob die Daten Enddaten sind oder nicht. Wenn die 
Daten keine endgultigen Daten sind, werden im Schritt S209 die nachsten Daten in der Region gesetzt, um den 45 
ProzeB zum obenerwahnten Schritt S205 zum Fortsetzen der Verarbeitung zuruckzufUhren. Wenn die Daten 
endguitige Daten sind, schreitet der ProzeB vom Schritt S208 mit Schritt S210 fort 

Im Schritt S210 wird ein Histogramm gebildet Im Schritt S21 1 wird die Sektion detektiert, in der der Grad des 
Histogramms uber dem Beurteilungswert liegt und einen Maximalwert annimmt Wenn die Sektion detektiert 
ist, in der der Grad des Histogramms iiber dem Beurteilungswert liegt und den Maximalwert annimmt, existiert 50 
der Gegenstand in dieser Sektion, und es wird im Schritt S2 1 2 die Distanz zum Gegenstand bestimmt 

Im Schritt S2i3 wird untersucht, ob die Region eine Endregion ist oder hicht Handelt es sich nicht um eine 
Endregion, so werden die Daten in der nSchsten Region im Schritt S214 gelesen, um zum Schritt S204 zuruckzu- 
kehren und dieselbe Verarbeitung fortzusetzen. Ist die Region endgiiltig, so schreitet der ProzeB zum Schritt 
S215 fort, um die Distanz und die vorhandene Region des Gegenstandes zu detektieren, um so die Detektion zu . 55 
beenden itnd zum Schritt S2 1 6 aberzugehen. 

Im Schritt S216 wird ein Parameter fOr den Anfangsgegenstand gesetzt Im Schritt 821 7 wird das dreidimen- 
sionale Fenster WD3 fur die Hdhe seines unteren Endes und den Distanzbereich gesetzt Im Schritt S218 wird die 
Form des zweidimensionalen Fensters WD2 abhangig vom dreidimensionalen Fenster WD3 berechnet, um dann 
mit dem Schritt S219fortzufahren. 60 

Im Schritt S219 werden die Daten aus dem zweidimensionalen Fenster WD2 gelesen. Nach Berechnen der 
dreidimensionalen Position des Gegenstandes im Schritt S220 werden die Daten im Schritt S221 selektiert und 
aus dem dreidimensionalen Fenster WD3 extrahiert 

AnschlieBend, wenn die Daten im Schritt S22! extrahiert sind, erfolgt eine Projektion dieser Daten auf das 
zweidimensionale Bild im Schritt S222, und anschlieBend wird durch Verbinden aller Daten durch Linien im 63 
Schritt S223 ein Konturbild erzeugt. Daraufhin werden im Schritt S224 die Form, GrfiBe, Position und Ge- 
schwindigkeit des Gegenstandes berechnet Im Schritt S225 wird gepriift, ob der Gegenstand ein Endgegenstand 
ist oder nicht 
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1st der Gegenstand kein Endgegenstand, wird der Parameter des n£Lchsten Gegenstandes im Schritt S226 
gesetzt, urn dann auf Schritt S21 7 zurilckzugehen. Handelt es sich urn einen Endgegenstand, so werden im Schritt 
3227 Parameter wie Position, - Form, Geschwindigkeit, Beschleunigung und MdgUchkeit einer Kollision des 
Gegenstandes in den Ausgangsspeicher 1 25 gelesen, um den ProzeB abzuschlieBen; 
5 Daruber hinaus fuhrt der Mikroprozessor 120b die Seitenwanddetektion gem&3 Darsteliung in den Fig. 37 
und 38 parallel zur Objektdetektion durch den Mikroprozessor 120a aus. Bei dieser Seitenwanddetektion 
werden, wenn die StraBenoberfl&chenposition im Schritt S301 gesetzt wird, die Anfangsdistanzdaten im Schritt 
S302 aus dem Distanzbild gelesen. 

Darauffolgend werden im Schritt S303.die Position (X, Z Koordinaten) und die Hdhe (Y-Koordinate) des 
to Gegenstandes berechnet. Im Schritt S304 wird die H5he H (Y-Koordinate) berechnet, bezogen auf die StraBen- 
oberfiache in der Distanz Z. Im Schritt S305 werden die Daten Qber der StraBenoberflSche und unter der Hdhe 
des Fahrzeugs als die Konstruknonsdaten.extrahiert. 

Im Schritt S306 werden die Daten dahingehend untersucht, ob sie Enddaten darstellen oder nicht Sind die 
Daten nicht Enddaten, wird die n^chste Distanzrate im Schritt S307 gelesen, und der ProzeB geht zurOck auf 
\5 Schritt S303, um das oben dargelegte Verfahren zu wiederholen. Wenn die Daten Enddaten sind, geht der 
ProzeB von S306 auf S308. 

Im Schritt S308 werden die anfanglichen Konstruktionsdaten gelesen, und im Schritt S309 wird die Position 
(X, 2 Koordinaten) des Gegenstandes berechnet Im Schritt S3 10 wird die berechnete Position (X, Z Koordina- 
ten) dahingehend untersucht, ob sie sich in der Suchregion befindet oder nicht 
20 Liegt die berechnete Position (X, Z Koordinate) auBerhalb der Suchregion. so springt der ProzeB vom Schritt 
S310 zum Schritt S312. Liegt die Position innerhalb der Suchregion, so schreitet der ProzeB von Schritt S310 mit 
Schritt S3 11 fort, um eine Auswahl in dem Parameterraum auszufuhren und dann mit Schritt S3 12 fortzufahren. 

Im Schritt S312 werden die verarbeiteten Konstruktionsdaten daraufhin geprOft, ob sie Enddaten darstellen 
Oder nicht Wenn die Daten nicht endgultig sind. werden die nachsten Konstruktionsdaten im Schritt S313 
25 gelesen, um denselben Vorgang vom Schritt S309 an zu wiederholen. Sind die Daten endgultig, so schreitet der 
ProzeB mit Schritt S3 14 fort, um den lokalen Maximumwert im Parameterraum zu detektieren. 

Darauffolgend wird mit Schritt S315 fortgefahren, um zu ermitteln, ob der lokale Maximumwert Qber dem 
Beurteilungswert liegt oder nicht Liegt der Wert unter dem Beurteilungswert, so wird ermittelt, daB die 
Seitenwand fehlt (Schritt S3 16). Liegt der Wert tiber dem Beurteilungswert, so wird geschlossen, daB eine 
30 Seitenwand vorliegi(S31 7). Dann wird mit Schritt S318 fortgefahren. 

Im Schritt S3 18 erfolgt ein LeseprozeB nach einem Parameter entsprechend dem Raster des lokalen Maxim- 
um werts aus Schritt S3 14, namlich einem Parameter (af, b() der iinearen Gleichung, die den lokalen Maximum- 
punkt zeigt Darauffolgend wird im Schritt S319 die Seitenwandkandidatenregion gesetzt 

Im Schritt S320 werden die anfanglichen Strukturdaten aus der Suchregion gelesen. Nach Berechnen der 
33 Position (X, Z Koordinate) des Gegenstandes im Schritt S321, werden die im Seitenwand-Abschatzungsbereich 
enthaltenen Daten im Schritt S322 extrahiert AnschlieBend werden im Schritt S323 die Daten daraufhin 
untersucht, ob sie Enddaten innerhalb der Suchregion sind oder nicht 

Handelt es sich nicht um Enddaten, so zweigt der ProzeB von Schritt S323 zum Schritt S324 ab, um die 
nachsten Strukturdaten in der Suchregion zu lesen und zum Schritt S321 zuriickzukehren. Sind die Daten in der 
40 Suchregion Enddaten, d. h. liegen sie am Ende dieser Region, so schreitet der ProzeB von Schritt S323 zum 
Schritt S325 fort, um das Histogramm unter Verwendung der Daten in dem Seitenwandabschfttzungsbereich zu 
bilden. 

Im folgenden Schritt S326 wird der Hfiufigkeitsgrad des gebildeten Histogramms untersucht, und festgestellt, 
wo die Sektion liegt, in der der Grad Ober dem Beurteilungswert liegt, wobei dann mit Schritt S327 fortgefahren 

45 wird. Im Schritt S327 wird die dreidimensionale Position beider Enden dieser Sektion bestimmt, in der der Grad 
des Histogramms Qber dem Beurteilungswert liegend berechnet wurde. Im Schritt S328 wird das Programm 
abgeschlossen, indem die Parameter, wie das Vorliegen oder Fehlen, die Position und die Richtung der Seiten- 
wand und die Position des vorderen und hinteren Endes, in den Ausgangsspeicher 125 eingeschrieben werden* 
Das Programm wird zuhachst bezOglich einer linken Seitenwand und dann beziiglich einer rechten Seitenwand 

50 durchgefOhrt 

Durch den obigen ProzeB ist es mdglich, die Position und GrdBe einer Vorderwand und eines geparkten 
Fahrzeugs bezuglich des in Frage stehenden Fahrzeugs 1 festzustellen, und es ist moglich, das Programm zur 
Verarbeitung der Zwischenraumdistanzberechnung gemaB Fig. 39 durch den Mikroprozessor 120c durchzufUh- 
ren. 

55 In diesem ZwischenraumdistanzberechnungsprozeB werden im Schritt S401 die Position der Kante oder des 
Randes vom Objekt auf der Fahrzeugseiteund die Position des Endes der Seitenwand eingegeben. Dann werden 
im Schritt S402 die rechte und linke Distanz jeweils ftir die X-Richtung zwischen dem Ende der Seitenwand oder 
jedem Rand oder jeder Kante des Gegenstandes und der verlangerten Linie des Seitenbereichs vom Fahrzeug 1 
ermittelt 

60 Im darauffolgenden Schritt S403 werden jeweils der rechte und linke Minimumwert fiir jede der im Schritt 
S402 gewonnenen Distanzen ermittelt Im Schritt S404 wird ein kleiner Spielraum als die Zwischenraumdistanz 
zu jedem der linken und rechten Minimumwerte hinzuaddiert, um dann den numerischen Wert Ober die 
Displaysteuereinrichtung 126 auf der Anzeige oder dem Display 3 anzuzeigen. 

65 Bezugszeichenliste 

Fig. 1 ■ 

15 Stereoskopische Bildverarbeitungseinrichtung 
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100 Objektdetektoreinrichiung 

110 Zwischenraumdistanz-Berechnungseinrichtung 

Fig. 2 

20 Bildprozessor 

20a Distanzdetektorschaltung • 

20b Distanzbildspeicher 

4 Geschwindigkeitssensor 

5 Lenkwinkeisehsor 

6 Modussetzschalter 
3 Displayeinrichtung 

i20a bis 120c Mikroprozessor 

126 Displaysteuereinrichtung 

127 Interfaceschaltung 
125 Ausgangsspeicher 
124 RAM 

123 ROM 

122 interfaceschaltung 

• • • 

Fig. 3 

3e Linksseitiger Zwischenraum 30 cm und rechtsseitiger Zwischenraum 10 
Cruise Fahren 
3b Leiten 
Assist Hilfe 
Check Prufen 

• 

Fig. 5 

Left Camera = Linke Kamera 
Right Camera — Rechte Kamera 
Camera Position = Kameraposition 
Projecting Surface = Projektionsflache 

Fig. 6 

33a Bildspeicher . 
33b Bildspeicher 
41a— 42b Speicher 

86 Nr. 1 AdreB-Steuereinrichtung 
85 Taktgeneratorschaltung 

90 Dualportspeicher 

87 Nr. 2 AdreB-Steuereinrichtung 
<66a.66b Speicher 

65 Schaltstufe 
70 ALU 

51 Minimumwertdetektorschaltung 

52 Maximumwertdetektorschaltung 

45 City-Biock-Distanzberechnungsschaltung 
32 LUT 

Fig. 7 

Total sum = Gesamtsumme . 
Addition = Addition 

46 Absolutwertberechnung 
unten: Links 1,1 ; Rechts 1 .1 usw. 

Fig. 8 

Discrepancy amount » Abweichungsbetrag 
Clock = Takt 
MSB bleibt 

unten « Ausgang der City- Block- Distanzberechnungsschaltung 
Fig. 10 

Coordinate » {Coordinate 
Fig. 13 

20b Distanzbildspeicher 

133 Objektkonturbildextraktionselnrichtung 

131 Objektdetektor 

132 Erzeugungseinrichtungfurdreidimensionales Fenster 
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141 Objektdatenextraktionseinrichtung 

142 Seitenwand-Geradliniendetektor 

143 Seitenwandbereichsdetektor 

150 Objektparameterspeicherabschnitt 

160 Zwischenraumdistanzberechnungseinrichtung 

Fig. 15 

Degree »= Grad 
Distanz » Distanz 
Maximum value » Maximalwert 
Judge value = Beurteilungswert 

Fig, 16 

(Detected distance) = (Detektierte Distanz) 
Fig. 21 

Linksseitiger Suchbereich Sl 
Rechtsseitiger Suchbereich Sr 
Sichtfeld der Kamera 

Fig. 22 

Linksseitiger Suchbereich Sl 
Rechtsseitiger Suchbereich Sr 

Fig. 33 

Noise shape data Rauschformdaten 

Data of parked car Daten vom geparkten Fahrzeug 

Data of guardrail = Leitplankendaten 

Visual field of camera = Sichtfeld der Kamera 

Left side search region Sl = Linksseitiger Suchbereich Sl 

Right side search region Sr « Rechtsseitiger Suchbereich Sr 

Data of building » Geb£ludedaten 

Data of thicket » Dickichtdaten 

Data of grassland on hill « Grasbewuchsdaten von Anhdhe 
Fig. 24 

Set region of slant afi « Festgelegter Bereich der Neigung afi 
Straight line Fi - Gerade Linie Fi 

Limit range of cut piece bfi = Grenzbereich f Or Abschnitt bfi 

Object data Pi = Objektdaten Pi 

Visual field of camera » Sichtfeld der Kamera . 

Fig. 25 

Left side voting region = Linksseitiger Votierbereich 
Right side voting region — Rechtsseitiger Votierbereich 
Grating « Raster 

Fig. 26 

Section = Sektion 

Straight line Ff = Gerade Linie Ff 

Visual field of camera = Sichtfeld der Kamera 

Side wall candidate region Tf = Seitenwandkandidatenregion Tf 

Fig. 27 

Degree Grad 

Section = Sektion 

Judge value -= Beurteilungswert 

Side wall existing area — Seitenwandexistenzbereich 

Fig. 28 

Detected guardrail = Detektierte Leitplanke 

Leftside search region Sl « Linksseitiger Suchbereich Sl 

Rightside search region Sr » Rechtsseitiger Suchbereich Sr 

Fig. 30 
. Start •= Start 
End «=» Ende 
SlOl <= Bildeingabe 
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5102 = A/D-Wandiung 

5103 = Suche nach einer Position entsprechender linker und rechter Bilder (Abstimmung durch City- Block- Di- 
stanz) 

5104 =» Detektion von Minimum- und Maximumwerten der City- Block- Distanz 

5105 = Bestimmung vom Abweichungsbetrag von Positionen, die linken und rechten Bildem entsprechen 
SI 06 = Distanzverteilungsausgabe 

Fig. 31 

Small regions = Kleine Regionen 

Shift direction — Verschiebungsrichtung 

For 1 St and 2nd lines « Fiir erste und zweite Zeile 

For 3rd and 4th lines « Fur dritte und vierte Zeile 

Output » Ausgang 

Fig. 32 

Clock « Takt 

Input latch of first adder = Eingabe in latch vom Absoliitwert-Berechner 
darunter 

Eingabe in latch vom ersten Addierer 

Eingabe in latch vom zweiten Addierer 

Eingabe in latch vom dritten Addierer 

Eingabe in latch vom Gesamtsummenaddierer 

Eingabe in latch der Minimum- und Maximumwertdetektorschaltung 

First subtraction = Erste Subtraktion , ^ 

Second subtraction = Zweite Subtraktion 

lo — Geradzahl-Zeilendaten vom Abweichungsbetrag "0" 

le " Ungeradzahl-Zeilendaten vom Abweichungsbetrag "0** 

Ho » Geradzahlzeilendaten vom Abweichungsbetrag "1" 

He = Ungeradzahl-Zeilendaten vom Abweichungsbetrag"!" 

unten steht : Erstellimg der City-BIock-Distanz vom Abweichungsbetrag "0" 

unten steht: Erstellung der City- Block- Distanz vom Abweichungsbetrag "1" 

Fig. 33 ' 
Clock = Takt 
A Bus 

B Bus , 
Calculation = Berechnung 
Switch circuit = Schaltstufe 

Writing to = Schreiben in Ausgang vom Puff erspeicher 

In Zeile von A Bus steht: Leuchtdichte von(l,4) Pixel in der vorhergehenden kleinen Region 

In Zeile von A Bus steht: Leuchtdichte von (2,4) Pbcel in der vorhergehenden kleinen Region 

In Zeile von A Bus steht: Leuchtdichte von (2,1) Pixel 

In Zeile von B Bus steht; Leuchtdichte von (l.l) Pixel 

In Zeile von B Bus steht: Leuchtdichte von (2,1) Pixel ] 

In Zeile von B Bus steht: Leuchtdichte von (1 ,2) Pixel 

In Zeile von B Bus steht: Leuchtdichte von (2,2) Pixel 

In Zeile von Berechnung: Friihere kleine Region ... 

In Zeile von Schaltstufe: Reset ^ Reset Ausgabe 

Ausgabe von Abweichungsbetrag oder "0" 

Ausgabe von Abweichungsbetrag oder "0** 

letzte Zeile: Schreib in (1,1) Schreib in (1,2) 

Fig. 34 

CCD Field signal. » CCD Teilbildsignal 
Picture input « Bildeingabe 
Stand-by « Standby 
Processing « Verarbeitung 
Transfer » Transfer 
darunter: 

Vier Zeilen vom rechten Bild 
Vier Zeilen vom linken Bild 
Vier Zeilen vom Ergebnis 
Calculation <- Berechnung 

darunter: Vier Zeilen vom BerechnungsprozeO wie bei der City-BIock-Distanz 
darunter: City-BIock-Distanz Berechnung 4x4 Pbcel 
darunter: Prufe hinsichtlich Differenz und Ergebnis 
No work: Keine Arbeit 
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Fig. 35 

5201 » Setze Position von StraBenoberfl&che 

5202 — Teile Distanzbild in Regionen 

5203 » Lies Daten aus Anfangsregion 

5 S214 s Lies Daten aus der n&chsten Region 

5204 s Setze Anfangsdaten 

5209 = Setze nSchste Daten 

5205 s Berechne Distanz und H5he vom Gegenstand 

5206 .= Berechne Hdhe derStraBenoberflache 

10 S207 » Selektierte Daten auf oder aber StraBenoberflkche 
S208 = Enddate? 

5210 » Bildung des Histogramms 

521 1 « Detektiere Sektion, in der der Grad iiber Beurteilungswert und Maximalwert liegt 
8212 = Detektiere Vorhandensein oder Fehlen und Distanz vom Objekt 

15 S213 = Endregion? 

321 5 = Detektiere Distanz und Existenzregion von jedem Gegenstand 

Fig. 36 

5216 = Setze Parameter von erstem Gegenstand 
20 S226 ~ Setze Parameter von nachstem Gegenstand 

521 7 = Setze Hohe vom unteren Ende und Distanzbereich vom dreidimensionalen Fenster 

5218 = Berechne zweidimensionaleFensterform 

521 9 « Lies Daten im zweidimensionalen Fenster 

5220 = Berechne dreidimensionale Position vom Gegenstand 

25 S221 = Selektion von im dreidimensionalen Fenster enthaltenen Daten 

5222 = Projektion auf zweidimensionalen Schirm 

5223 = Biide Konturbild durch Verbinden von Daten durch Linien 

5224 = Berechnung von Form, Gr6Be, Position und Geschwindigkeit vom Gegenstand 

5225 « Endgegenstand? 

30 S227 = Schreib Parameter vom Gegenstand in Speicher 
End = Ende 

Fig. 37 

S301 « Setze Position von StraBenoberfl&che 
35 S302 = Lies erste Distanzdaten 

5307 =" Lies nachste Distanzdaten 

5303 « Berechne Position (X,Z-Koordinate) und Hohe (Y-Koordinate) vom Gegenstand 

5304 = Berechne H6he H (Y-Koordinate) von StraBenoberfi^che 

5305 « Extrahiere als Konstruktionsdaten die, die Qber der StraBenoberflSche und unterhalb der Hdhe des 
40 Fahrzeugs liegen 

5306 = Enddaten? 

5308 — Lies Anfangskonstruktionsdaten . . 

5313 » Lies nSLchste Konstruktionsdaten 

5309 » Berechnung von Position (XZ-Koordinate) vom Gegenstand 
45 S310 ^ InSuchregion? 

5311 >= Votierungauf Parameterraum 

5312 » Enddaten? 

5314 = Detektion vom lokalen Maximumwert auf Parameterraum 

5315 at Ober Beurteilungswert? 

50 S31 7 = Bestimme Vorhandensein von Seitenwand 

5316 Bestimme Fehlen von Seitehwand 

Fig,38 

S31 8 = Lies Parameter (af, bf) von Geradlinien-Gleichung, gezeigt von lokalem Maximumpunkt 
55 S319 = Setze Seitenwand Kandidatenregion 

5320 = Lies Anfangsobjektdaten in Suchregion 

5324 = Lies nSchste Objektdaten in Suchregion 

5321 « Berechne Position (X.Z-Koordinate) vom Gegenstand 

5322 = Extraktion von Daten in Seitenwandkandidatenregion 
60 S323 = Enddaten? 

5325 « Bilde Histogramm aus Daten in Seitenwandkandidatenregion 

5326 = Detektiere Sektion, in der der Grad Ober dem Beurteilungswert liegt 

5327 a Berechne vordere und hintere Endposition von Seitenwand 

5328 Schreib Parameter von Seitenwand in Speicher 
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Fig. 39 

5401 •= Eingabe von Position einer Kante vom Gegenstand und Seitenwand 

5402 = Ermittle jeweils linke und rechte Distanzen zwischen Verl&ngerungslinien des Fahrzeugs und Kan ten 
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des Gegenstandes oder Seitenwandende 

5403 = Bestimme jeweils linken und rechten Minimum wert 

5404 « Anzeige von linkem und rechtem Minimumwert als Zwischenraumdistanz auf Display 

PatentansprQche. 

1. Fahrleitvorrichtung fiir ein Fahrzeug, in dessen vorderem Bereich zwei Kameras zur Aufnahme einer 
dreidimensionalen Abbildung von sich vor dem Fahrzeug befindenden Gegenstanden und zur Erzeugung 
eines Bildsignals angebracht sind, aufweisend: 

eine stereoskopische Bildverarbeitungseinrichtung (i5X die abhSngig vom Bildsignal ein Paar stereosko- 
pischer Bilder des Gegenstandes auBerhalb des Fahrzeugs verarbeitet und ein Distanzsignal durch Ermit- 
teln einer Distanzverteilung uber ein gesamtes Bild in Abhangigkeit von durch Abweichungsbetrage (x) 
gekennzeichneten Positibnen entsprechend dem Paar stereoskopischer Bilder gemSB einemTriangulations- 
prinzip liefert; 

eine Objektdetektoreinrichtung (100), die abh^ngig von diesem Distanzsignal mehrere verschiedene Ge- 
genstande durch Heranziehen von dreidimensionalen Posidonsdaten detektiert, die fur einen jeden Ab- 
schnitt des jeweiligen Gegenstandes entsprechend der Distanzverteilung berechnet werden, und die ein 
Distanzsignal erzeugt; 

eine Zwischenraumdistanz-Berechnungseinrichtung (110), die abhangig von einem Verteilungssignal je- 
weils eine nachste Distanz linker und rechter Zwischenraumdistanzen, die jeweiJs von einer verlangerten 
Linie der linken oder rechten Seite des Fahrzeugs und jedem Ende der Fahrzeugseiie zu den mehreren 
verschiedenen Gegenstanden bestimmt sind, berechnet und ein Distanzsignal erzeugt ; und 
eine Informationseinrichtung (3; 115), die abhangig von diesem Distanzsignal einem Fahrer sich auf die 
rechten und linken Zwischenraumdistanzdaten beziehende Daten derart vermittelt, daB die Umgebungsbe- 
dingungen des Fahrzeugs vollstSndig und exakt angezeigt werden und die dem Fahrer auferlegte Last beim 
Fahren auf einem engen Fahrweg deutlich herabgesetzt ist. 

2. Fahrleitvorrichtung nach Anspruch 1, ferner gekennzeichnet durch 

zwei Paare (11, 12) von (CCD-) Kameras in Form ladungsgekoppelter Bausteine, die jeweils als das 
Abbildungssystem (10) an einer Vorderseite des Fahrzeugs (1) unter einem vorbestimmten Abstand ange- 
ordnet sind* wobei ein Paar (12) fQr groBe Distanzen und ein Paar (1 1) fur kurze Distanzen vorgesehen ist 
und jedes Paar iiber eine linke und rechte Kamera verfugt; 

einen in der stereoskopischen Bildverarbeitungseinrichtung (15) vorgesehenen Bildprozessor (20) mit einer 
Distanzdetektoreinrichtung (20a) zum Aufsuchen eines Bereichs, in dem derselbe Gegenstand in jeder von 
kleinen Regionen des Paares stereoskopischer Bilder von den CCD- Kameras abgebildet ist, und ziim 
Berechnen einer Distanz zum Gegenstand durch Ermitteln eines Abweichungsbetrages (x) einer diesem 
Bereich entsprechenden Position, und mit einem Distanzbildspeicher (20b) zum Speichern der von der 
Distanzdetektoreinrichtung (20a) ausgegebenen Distanzdaten; 

einen Distanzbild-Verarbeitungscomputer (120), der als die Objektdetektoreinrichtung und die Zwischen- 
raumdistanz-Berechnungseinrichtung dient und als Multi-Mikroprozessorsystem ausgelegt ist mit einem 
ersten Mikroprozessor (120a) zur hauptsachlichen Detektionsverarbeitung individueller Gegenstande, ei- 
nem zweiten Mikroprozessor (120b) zur hauptsachlichen Detektionsverarbeitung einer Seitenwandung, 
einem dritten Mikroprozessor (120c) zur hauptsachlichen Berechnungsverarbeitung einer Zwischenraum- 
distanz und einem Systembus (121) zum paralielen Verbinden des ersten bis dritten Mikroprozessors; und 
einer Displayeinrichtung (3) als die Informationseinrichtung (115) zur Anzeige von durch die Berechnungs- 
verarbeitung der Zwischenraumdistanzen gewonnenen Zwischenraumdaten fiir den Fahrer. 

3. Fahrleitvorrichtung nach Anspruch 2, ferner gekennzeichnet durch 

eine Objekterkennungseinrichtung (130), die durch den ersten Mikrocomputer (120a) vorgesehen ist; 
einen Seitenwanddetektor (140), der durch den zweiten Mikroprozessor (120b) vorgesehen ist; 
einen Zwischenraumdistanz-Berechner (160), der durch den dritten Mikroprozessor (120c) vorgesehen ist; 
einen Konstruktionsparameterspeicher (150) zum Speichern eines Verarbeitungsergebnisses von der Ob- 
jekterkennungseinrichtung (130) und dem Seitenwanddetektor zur Ausgabe an den Zwischenraumdistanz- 
Berechner(160). 

4. Fahrleitvorrichtung nach Anspruch 3, ferner gekennzeichnet durch 

einen Objektdetektor (131), der das Distanzbild vom Distanzbildspeicher (20b) des Bildprozessors in vorbe- 
stimmte streifenformige Intervallabschnitte aufteilt und zur BerecKnung der detektierten Distanz nur 
Konstruktionsdaten selektiert, die als Gegenstand eine Gefahr fur die Weiterfahrt darstellen; 
eine Erzeugungseinrichtung (132) fiir ein dreidimensionales Fenster zur Festlegung einer dreidimensionalen 
Raumregion rechtwinkliger solider Raumform bezuglich der jeweiligen diirch den Objektdetektor detek- 
tierten Gegensta.nde und zum Berechnen, wie sich das festgelegte dreidimensionaie Fenster auf einem 
zweidimensionalen Bild darstellt, um so den detektierten Gegenstand nur bezuglich Daten innerhalb der 
FensterumriBlinie gemaB dem zweidimensionalen Fenster festzulegen; und 

eine Objektkontur-Extraktionseinrichtung (133), die Date um Date im zweidimensionalen Fenster begut-' 
achtet, um dann hur Daten zu selektieren, die im dreidimensionalen Fenster enthalten sind, die ein Kontur- 
bild des detektierten Gegenstandes extrahiert und die positionelle Beziehung zwischen dem detektierten 
Gegenstand und der fahrzeugeigenen Karosserie bestimmt. 

5. Fahrleitvorrichtung nach Anspruch 4, ferner gekennzeichnet durch 

eine Objektdaten-Extrakdonseinrtchtung (141), die nur Daten uber einer vorbesdmmten StraBenoberfl^che 
selektiert, die vorab aus den Distanzverteilungsdaten festgelegt ist, die vom Distanzbildspeicher (20b) des 
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Bildprozessors zugefQhrt wurden; 

einen Seitenwand-Geradliniendetektor (143X der nur Daten innerhalb einer vorab festgesetzten Seiten- 
wandsuchregion extrahiert, zur Verbreitung der extrahierten Daten durch die Hough-Transformation» 
wodurch eine lineare Gleichung erfaBt wird, die das Vorhandensein Oder Fehlen einer Seitenwand und 
deren Position anzeigt; und 

eineh Seitenwandbereichsdetektor (143), der eine Seitenwandkandidatenregion festlegt, wobei das Vorlie- 
gen einer Seitenwand auf der Grundlage einer geraden, die Position der Seitenwand zeigenden Linie 
abgeschStzt wird, und der die Positionen von vorderen und hinteren Enden der Seitenwand abhdngig voni 
Verteilungszustand der Konstruktionsdaten in der Seitenwandkandidatenregion detektiert. 

6. Fahrleitverfahren fur ein Fahrzeug, in dessen vorderem Bereich zwei Kameras zur Aufnahme einer 
dreidiniensionalen Abbildung von sich vor dem Fahrzeug befindenden Gegenst^nden und zur Erzeugung 
eines Bildsignals angebracht werden, beinhaltend: 

einen Schritt der Verarbeitung eines Paares stereoskopischer Bilder des Gegenstandes auBerhalb des 
Fahrzeugs und der Erzeugung eines Distanzsignals durch Ermitteln einer Distanzverteilung fiber ein 
gesamtes Bild in Abhangigkeit von durch.Abweichungsbetr^ge gekennzeichneten Positionen entsprechend 
dem Paar stereoskopischer Bilder gem&B einem Triangulationsprinzip; 

einen Schritt der Detektion mehrerer verschiedener Gegenst^nde durch Heranziehen von dreidimensiona- 
ien Positionsdaten, die filr einen jeden Abschnitt des jeweiligen Gegenstandes entsprechend der Distanz- 
verteilung berechnet werden, und der Erzeugung eines Distanzsignals; 

einen Schritt der Berechnung einer nSchsten Distanz linker und rechter Zwischenraumdistanzen* die jeweils 
von einer verlangerten Linie der linken oder rechten Seite des Fahrzeugs und jedem Ende der Fahrzeugsei- 
te zu den mehreren verschiedenen Gegenstanden bestinrimt werden; und 

einen Schritt der Information eines Fahrers iiber sich auf die rechten und linken Zwischenraumdistanzdaten 
beziehenden Daten derart, daB die Umgebungsbedingungen des Fahrzeugs voIlstSndig und exakt angezeigt 
werden und die dem Fahrer auferlegte Last beim Fahren auf einem engen Fahrweg deutlich herabgesetzt 
ist 

7. Fahrleitverfahren nach Anspruch 6. ferner gekennzeichnet durch 

einen Schritt der Gewinnung von Daten groBer Entfernung in einem Bild vor dem Fahrzeug; 

einen Schritt der Gewinnung von Daten kleiner Entfernung in einem Bild vor dem Fahrzeug; 

einen Schritt zum Aufsuchen eines Bereichs, in dem derselbe Gegenstand in jeder von kleinen Regionen des 

Paares stereoskopischer Bilder der CCD-Kameras abgebildet ist; 

einen Schritt zum Berechnen einer Distanz zum Gegenstand durch Ermitteln eines Abweichungsbetrages 
einer diesem Bereich entsprechenden Position, und zum Speichem der von einer Distanzdetektoreinrich- 
tung ausgegebenen Distanzdaten; 

einen Schritt der Detektionsverarbeitung einer Seitenwand, der Zwischenraumdistanz-Berechnung, der 
Gegenstandsdetektionsverarbeitung und der parallelen Verbindung entsprechender Mikroprozessoren 
iiber einen Systembus; und 

einen Schritt der Anzeige von durch die Berecbnungsverarbeitungen der Zwischenraumdistanzen gewon- 
nenen Zwischenraumdaten fur den Fahrer. 

8. Fahrleitverfahren nach Anspruch 7, ferner gekennzeichnet durch 

einen Schritt, der das Distanzbild von einem Distanzbildspeicher eines Bildprozessors in vorbestimmte 
streifenfdrmige Intervallabschnitte aufteilt; 

einen Schritt, der zur Berechnung der detektierten Distanz nur Konstruktionsdaten selektiert, die ais 
Gegenstand eine Gefahr fur die Weiterfahrt darstell en; 

einen Schritt der Festlegung einer dreidimensionalen Raumregion rechtwinkiiger solider Raumform bezQg- 
lich der jeweiligen durch einen. Objektdetektor detektierten GegenstHnde; 

einen Schritt zum Berechnen, wie sich das festgelegte drexdimensionale Fehster aiif einem zweidimensiona- 
len Bild darstellt, um so den detektierten Gegenstand nur bezOglich Daten innerhalb der FensterumriBlinie 
als das zweidimensionale Fenster festzulegen; 

einen Schritt, der die Date um Date im zweidimensionalen Fenster begutachtet; 

einen Schritt, iim nur Daten zu selektieren, die im dreidimensionalen Fenster enthalten sind; 

einen Schritt, der ein Konturbild des detektierten Gegenstandes extrahiert; und 

einen Schritt, der die positionelie Beziehung zwischen dem detektierten Gegenstand und der fahrzeugeige- 
nen Karosserie bestimmt 

9. Fahrleitverfahren nach Anspruch 8, ferner gekennzeichnet durch 

einen Schritt, der nur Daten iiber einer vorbestimmten StraBenoberflache extrahiert, die vorab aus den 
Distanzverteilungsdaten festgelegt ist, die vom Distanzbildspeicher des Bildprozessors zugefQhrt wurden; 
einen Schritt, der nur Daten innerhalb einer vorab festgesetzten Seitenwandsuchregion extrahiert; 
einen Schritt zur Verarbeitung der extrahierten Daten durch die Hough-Transformation, wodurch eine 
lineare Gleichung erfaBt wird, die das Vorhandensein oder Fehlen einer Seitenwand und deren Position 
anzeigt; 

einen Schritt, der eine Seitenwandkandidatenregion festlegt, wobei das Vorliegen einer Seitenwand auf der 
Grundlage einer geraden, die Position der Seitenwand zeigenden Linie abgeschatzt wird; und 
einen Schritt, der die Positionen von vorderen und hinteren Enden der Seitenwand abh£lngig vom Vertei- 
lungszustand der Konstruktionsdaten in der Seitenwandkandidatenregion detektierL 
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